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Proc&Ies et dispositifs de codage et de decodage d'une sequence 
d'images par decomposition mouvement/texture et codage par ondelettes. 

1. Domaine de rinventim^ 

Le domaine de I'invention est celui du codage, et du decodage d'une 
sequence d'images video, par exemple en vue de son stockage ou de sa 
transmission vers au moins un terminal. 

Le codage video est utilise" dans de nombreuses applications, qui 
necessitent des ressources et des bandes passantes vari6es et variables. Pour 
repondre a ces diffgrents besoins, il est interessant de disposer d'un flux video 
possedant des proprie'tes de scalability c'est-a-dire pouvant s'adapter aux 
ressources et d6bits disponibles. 

L'invention s'inscrit rtotamment dans ce cadre. 

La scalabilite peut s'obtenir notamment par I'utilisation de transformees 
ondelettes dans un schema de codage video. On constate en effet que ces deux 
aspects, ondelettes et scalabilite", permettent chacun de representer un signal de 
maniere hierarchique. 

2. Etat de l'art 

2.1 Qod axe video utilisant lex ondelettes m 

Plusieurs schemas de codage vid6o utilisant des ondelettes ont dej& 6t6 
pr6sent£s dans la littdrature. On a notamment propose d'utiliser des transformees 
par ondelettes 3D (en trois dimensions), par exemple dans les documents 
suivants : 

- SJ. Choi and J.W. Woods. Motion - Compensated 3-d subband coding 
of video. IEEE Transactions on Image Processing, 8(2) : 15-167, 
February 1999 ; 

- J.R Ohm. Three dimensional subband coding with motion 
compensation. IEEE Transactions on Image Processing, 3(5) : 559- 
571, September 1994; 

- Seeker A. and D. Taubman. Motion - compensated Highly scalable 
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- Seeker A. and D. Taubman. Motion -.compensated Highly scalable 
video compression using 3d wavelet transform based on lifting. IEEE 
2001. 

- D. Taubman and A. Zakhor. Multirate 3d subband coding of video. 
5 IEEE transactions on Image processing, 3(5) 572-588, September 

1994. 

Un des premiers schemas, propose par Taubman et Zakhor en 1994, 
effectue une transformee ondelette 3D sur une sequence d'images redress6es par 
rapport a la premiere image de la sequence. Selon cette technique, le mouvement 
10 considers n'est qu'un mouvement global dans la scene, n'offrant qu'une qualite 
insuffisante. L'utilisation de mouvements plus complexes, qui presenteraient des 
zones de contraction et d'expansion, necessiterait de redresser les images sur des 
grilles d'echantillonnage non uniformes, et le sch6ma ne serait alors plus 
reversible. 

15 D'autres schemas, developpes notamment par Ohm en 1994 et Choi et 

Woods en 1999, utilisent des blocs pour la representation du mouvement. La 
transformee ondelette 3D est alors effectuee sur ces blocs, le long de la trajectoire 
du mouvement. 

Cependant, le mouvement par blocs n'est pas continu et fait apparattre des 
20 pixels isol6s ou doublement connectes a d'autres pixels. II en resulte des sous- 

bandes temporelles contenant beaucoup de hautes frequences. De plus, ces pixels 

particuliers limitent la longueur du filtre d'ondelette. 

Une autre approche, notamment pr6sentee par Taubman et Seeker en 2001, 

utilise les ondelettes 3D en appliquant la forme "lifting" de la transformee 
25 temporelle. Selon cette m6thode, la transformee temporelle est effectuee en meme 

temps que la compensation en mouvement. L'utilisation du lifting permet d'obtenir 

une transformee reversible. Cependant, elle necessite d'avoir connaissance des 

champs de mouvements directs et inverses. Or, ces champs de mouvement sont 

coQteux a coder. 

30 L'utilisation de champs de mouvements par blocs implique l'utilisation de 
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filtres courts tels que le 5/3 tronqu6. Ce codage de mouvement par blocs, 
discontinu, introduit en consequence des hautes frequences difficiles a coder dans 
les sous-bandes. 

2.2 Inconvenients de ces techniques anterieures 

5 Ces differentes approches connues tentent done d'utiliser des ondelettes le 

long de l'axe temporel. Cependant, la plupart de ces etudes utilisent un 
mouvement par blocs, qui g^nere des discontinuity lors des compensations en 
mouvement. A cause de ces discontinuity, les ondelettes temporelles ne 
d6con£lent pas le signal au mieux. Plus pr£cisement, les discontinuity creent des 
10 hautes frequences dans les sous-bandes, qui sont difficiles a coder ensuite par une 
ondelette 2D. 

2.3 Approche Analyse-synthese prenant en compte le maillag e 

Les inventeurs ont presente, dans un article intitule "codage video scalable 
par maillage et ondelettes 3D" (Nathalie Camas et Stephane Pateux, Conference 

15 Coresa'03 - Compression et Representation des Signaux Audiovisuels - Lyon, 
16-17 Janvier 2003) une amelioration de ces techniques, reposant notamment sur 
une approche de type analyse-synthese et une representation precise du 
mouvement, base sur des maillages. 

En utilisant une telle estimation de mouvement par le maillage, on obtient 

20 un bon suivi des deformations de la texture le long de l'axe temporel. La 
compensation en mouvement par maillages assure en effet une continuite 
temporelle de la texture, qui n'existe pas avec les autres m£thodes de 
compensation, comme, par exemple, la mdthode par blocs. Cette continuite peut 
alors etre exploitee par Putilisation d'ondelettes, le long de l'axe temporel. 

25 La presente invention concerne plus pr£cis6rnent cette derni&re technique 

de codage, qu ! elle vise k am61iorer, notamment en r£duisant la quantity de donn<Ses 
k transmettre, ou & stocker, pour representer une sequence damages video. 
3. Objectifs de Invention 

L'invention a notamment pour objectif de palmer les differents 
30 inconvenients des techniques ant6rieures. 
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Notamment, un objectif de I'invention est de fournir une technique de 
codage, permettant de transmettre (ou stocker) plus d'informations pour un debit 
donne, ou de necessiter un debit moindre pour une quantite d'informations 
donnee, par rapport aux techniques mentionnees ci-dessus. 
5 Un autre objectif de I'invention est de proposer un codage video 

6chelonnable, ou scalable, permettant une reconstruction progressive de chaque 
image ou sequence d T image. 

Un autre objectif de I'invention est de fournir une telle technique de 
codage, pr6sentant de bonnes qualites de robustesse. 
10 Ainsi, un objectif particulier de I'invention est de fournir un taux de 

compression inf&ieur ou similaire a celui du codage H264, en offrant en plus la 
scalabilite et la robustesse. 

4. Carfleterigtiaues principales de Tinvention 
Ces objectifs, ainsi que d'autres qui apparaitront par la suite, sont atteints 
15 & Paide d'un proc6d6 de codage d'une sequence d' images source, mettant en 
ceuvre une decomposition mouvement/texture, produisant, pour au moins 
certaines desdites images source, des informations representatives du mouvement, 
dites images de mouvement, et des informations representatives de la texture, 
dites images de texture, et un codage par ondelettes. Selon I'invention, ledit 
20 codage par ondelettes est appliquS sur des images de difference, dites residus, 
obtenues par comparaison entre une image de mouvement, respectivement de 
texture, et une image estimee correspondante. 

Ainsi, on reduit fortement le nombre dMnformations & coder, et on obtient 
done une augmentation du debit utile ou, a debit constant, une amelioration des 
25 images codges et/ou stockees. 

De fagon avantageuse, ladite comparaison met en oeuvre une difference 
avec une image interpolee a partir d'au moins la premiere et/ou de la derniere 
image de ladite sequence. 

Avantageusement, on effectue un codage temporel de ladite texture, 
30 redressee par ledit mouvement pr^alablement code selon Taxe temporel, a l'aide 



(fun codage par ondelettes. 

De facjon preferentielle, le procede de 1 'invention comprend un codage de 
la texture comprenant un codage temporel par ondelettes suivi d'un codage spatial 
par ondelettes. 

Selon un aspect avantageux de 1'invention, on met en oeuvre un codage du 
mouvement prenant en compte un maillage, et preferentiellement un maillage 
hierarchique. 

Avantageusement, le codage du mouvement comprend 6galement un 
codage temporel par ondelettes suivi d'un codage spatial par ondelettes. 

Selon un aspect preferentiel de 1'invention, lesdites images source sont 
regroupees par blocs damages comprenant un nombre variable (N) d'images 
source. 

Ce nombre peut notamment varier en fonction des caracteristiques des 
images. II peut par exemple etre de I'ordre de 8 images. 

Avantageusement, deux blocs d'images successifs comprennent au moins 
une image commune. En d'autres termes, les blocs se chevauchent. 

Dans ce cas, on prevoit avantageusement que la premiere image d'un bloc 
d'images n'est pas codee, celle-ci 6tant identique h la derniere image du bloc 
d'images precedent. 

Cela permet encore d'augmenter le debit utile. 

Selon un premier mode de mise en ceuvre, dans chacun desdits blocs 
d'images, on estime le mouvement de toutes les images d'un bloc d'images a 
partir de la premiere image dudit bloc. 

On peut notamment mettre en oeuvre une dtape de compensation de 
mouvement par rapport a au moins une grille de reference. 

Avantageusement, ladite etape de compensation utilise deux grilles de 
reference repnSsentant respectivement la premiere et la derniere images du bloc 
considSre. 

Ainsi, selon un deuxi&me mode de mise en oeuvre, pour un bloc de N 
images, les images de 1 & (N+l)/2 sont plaqu£es sur la grille de reference 
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representant la premiere image et les images de (N+l)/2 +HN sont plaqu6es sur 
la grille de ref6rence representant la derniere image. 

Selon un autre aspect pr6ferentiel de l'invention, le procede de codage 
comprend un codage du mouvement mettant en oeuvre une estimation de 
5 mouvement multi-resolution, selon laquelle le mouvement est estime sur au moins 
deux niveaux de resolution d'image. 

Ainsi, 1' estimation de mouvement peut avantageusement etre effectuee sur 
au moins deux niveaux dudit maillage hierarchique. 

Bien sQr, l'invention peut egalement etre mise en oeuvre pour un seul 
10 niveau de resolution de maillage, par exemple pour un maillage a un niveau 
irregulier adapt6 au contenu. 

De facon avantageuse, on prevoit une etape de projection d'une image sur 
au moins une grille de reference, correspondant a une grille d'echantillonnage 
definie par la position des noeuds d'un maillage dans une image, de facon a 
15 obtenir un masque de texture. 

Pr6ferentiellement, on met en oeuvre une approche multi-grille, selon 
laquelle on associe respectivement une grille de rdference specifique a au moins 
deux niveaux de hierarchie d'un maillage hierarchique. 

Dans ce cas, on met avantageusement en oeuvre une ponderation des 
20 noeuds de maillage entre Iesdits niveaux de hierarchie, par des poids representatif 
de la deformation geom6trique. 

De facon preferentielle, ladite ponderation est modifiee lors de la 
repercussion du deplacement d'un niveau a 1'autre (de fagon a conserver la 
structure des maillages inf6rieurs). 
25 Avantageusement, entre deux niveaux hierarchiques successifs, 

correspondant a un maillage grossier et a un maillage fin, les noeuds dudit 
maillage fin sont represented par leur coordonn&s barycentriques par rapport au 
triangle du maillage grossier auquel ils appartiennent, ledit maillage fin 
comprenanl d'une part des premiers noeuds, dits noeuds fils directs, d6pendant des 
30 noeuds dudit maillage grossier et des seconds noeuds, correspondant a un milieu 
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d'arSte dudit rnaillage grossier. 

Lesdits noeuds fils directs peuvent alors prennent la valeur de noeuds peres 
correspondant dudit rnaillage grossier, et lesdits seconds nceuds peuvent 
correspondre k une combinaison Hn6aire entre les quatre noeuds des deux triangles 
5 auxquels appartient ladite arete. 

Ainsi, avantageusernent, si ledit noeud est sur ladite arete, alors seuls les 
deux nceuds d' extremity de ladite arete sont pris en compte, et en ce que si ledit 
noeud n'est pas sur ladite arete, seuls les trois noeuds appartenant au triangle dudit 
rnaillage grossier auquel appartient ledit noeud dudit rnaillage fin. 
10 Selon un autre aspect avantageux, ladite multi-grille peut etre adaptee k un 

rnaillage en mouvement, a partir d'une initialisation reposant sur une approche 
geom£trique. 

Dans ce cas, le procede comprend avantageusernent une etape de detection 
d'au moins une zone de support d'image restant indefinie apres ladite projection 
15 d'une image, du fait de Futilisation d'une grille de reference correspondant a une 
autre image, et une etape de remplissage (« padding ») de la ou desdites zones de 
support d'image ind6finies. 

Ladite etape de remplissage peut notamment reposer sur une approche de 
type anaJyse-synthdse, l'image a completer etant analysee, puis synthetis^e, pour 
20 obtenir par comparaison un residu. 

Pr^ferentiellement, ladite analyse-syn these est reiteree au moins une fois, 
sur le r6sidu obtenu h Titeration precedente. 

Le « padding » comprend de fa9on avantageuse une 6tape de remplissage 
spatial pour au moins une image suivie d'une etape de remplissage temporel, par 
25 prediction. 

Ladite 6tape de remplissage peut notamment etre assuree par une 
interpolation. 

De fa?on preferentielle, on applique une antisym6trie aux coefficients 
d'ondelettes correspondant k un bord d'une image, de fa?on k simuler un signal k 
30 support de longueur infinie. 
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Selon un autre aspect avantageux de l'invention, les donnees codees sont 
reparties en au moins deux couches, une couche basse comprenant des donnees 
permettant de reconstruire une image de qualit6 grossiere et une couche haute 
permettant d'affiner la qualite de ladite image grossiere. 

Ladite couche basse peut ainsi comprendre un flux de mouvement de bas 
niveau, comprenant des donnees de mouvement de la derniere image dudit bloc 
d'images, et un flux de texture de bas niveau, comprenant des donnees de texture 
de la premiere et de la demiere images dudit bloc d'images. 

Ladite couche haute comprend quant a elle avantageusement un flux de 
mouvement de haut niveau et un flux de texture de haut niveau, correspondant au 

codage desdits residus. 

Selon un mode de mise en ceuvre particulier de l'invention, le procede de 

codage comprend done les etapes suivantes : 

- selection d'un groupe d'images source ; 

- analyse du mouvement dans ledit groupe d'images source, produisant 
lesdites images de mouvement ; 

- analyse de la texture des images source dudit groupe, ladite texture etant 
plaquee sur les images de mouvement correspondantes, produisant lesdites 
images de texture ; 

- prediction d'au moins certaines des images de texture dudit groupe 
d'images source, produisant lesdites images de texture predite ; 

- d6termination de residus de texture, correspondant a la difference entre 
une image de texture et une image de texture prddite ; 

- prediction d'au moins certaines des images de mouvement dudit groupe 
d'images mouvement, produisant lesdites images de mouvement predite ; 

- determination de r6sidus de mouvement, correspondant a la difference 
entre une image de mouvement et une image de mouvement predite ; 

- application d'un codage par ondelettes sur lesdits r&idus de texture et sur 
lesdits residus de mouvement. 

L'invention concerne egalement les signaux generis par un procede de 
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codage tel que decrit ci-dessus. 

Un tel signal representatif d'une sequence d'images source et obtenu par 
un mettant en ceuvre une decomposition mouvement/texture, produisant, pour au 
moins certaines desdites images source, des informations representatives du 
5 mouvement, dites images de mouvement, et des informations representatives de la 
texture, dites images de texture, et un codage par ohdelettes. II comprend des 
donnees numenques representatives d'un codage par ondelettes appliqu€ sur des 
images de difference, dites residus, obtenues par comparaison entre une image de 
source et une image estimee correspondante. 
10 De fagon preferentielle, il est constitue d'au moins deux couches, une 

couche basse comprenant des donnees permettant de reconstruire une image de 
quality grossiere et une couche haute permettant d'affiner la qualite de ladite 
image grossiere. 

Avantageusement, ladite couche basse comprend successivement un flux 
15 de base, comprenant des donnees d'initialisation, un premier flux representatif du 
mouvement et un premier flux representatif de la texture, et ladite couche haute 
comprend successivement un second flux representatif du mouvement et un 
second flux representatif de la texture, lesdits seconds flux correspondant au 
codage desdits residus. 

Selon un autre aspect, le signal comprend trois champs pour decrire un 
objet, representatifs respectivement de son mouvement, de sa texture et de sa 
forme. 

L'invention concerne encore les precedes de decodage d'un tel signal, 
et/ou correspondant au procec!6 de codage. 

25 Un tel proc€d6 de decodage comprend avantageusement les etapes 

suivantes : 

- decodage du mouvement, en tenant compte d'au moins certains 
desdits residus relatifs au mouvement, pour former des images de 
mouvement ; 

- decodage de la texture, en tenant compte d'au moins certains 
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desdits residus relatifs a la texture, pour former des images de 
texture ; 

- synthase d'une sequence damages decodees, correspondant a ladite 
sequence d' images source, par projection desdites images de 
texture sur lesdites images de mouvement. 

Preferentiellement, il comprend une etape de mesure de la qualite de ladite 
sequence d'images decod6es, par analyse de la distorsion entre les images de 
texture originales et les images de texture decodees. 

De facon avantageuse, ladite 6tape de decodage du mouvement comprend 

les etapes suivantes : 

- g6neration d'un maillage hierarchique sur la premiere image ; 

- decodage d' informations de mouvement associees a la derniere 
image, pour d6terminer un maillage associe" a ladite derniere 
image ; 

- interpolation des images de mouvement intermediaires. 
Preferentiellement, il comprend ensuite une etape de decodage desdits 

r6sidus, comprenant une transformation par ondelettes inverse de celle appliquee 
au codage, et une etape d'addition desdits residus auxdites images de mouvement 
interm6diaires interposes. 

De la meme facon, ladite etape de decodage de la texture comprend 
avantageusement les etapes suivantes : 

- generation d'une texture pour la premiere image ; 

- decodage d' informations de texture associees a la derniere image, 
pour determiner une texture associee a ladite derniere image ; 

- interpolation des images de texture intermediaires. 

Selon un aspect particulier, au moins certains desdits blocs d'images, dits 
blocs « inter », 1'etape de generation d'une texture pour la premiere image prend 
en compte la derniere image du bloc d'images precedents. 

Avantageusement, le procedd de decodage comprend ensuite une etape de 
decodage desdits r6sidus, comprenant une transformation par ondelettes inverse 
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de celle appliquee au codage, et une 6tape d'addition desdits residus auxdites 
images de texture interm^diaires interpolees. 

D peut en outre comprendre avantageusement une etape de gestion des 
retoumements generes par ladite estimation du mouvement. 

Pr6f<Srentiellement, il comprend une 6tape d'arrSt du traitement desdits 
residus, lorsqu'un niveau de qualite et/ou une quantite de traitements a effectuer 
est atteint. 

L'invention concerne encore les dispositifs de codage et/ou de decodage 
mettant en ceuvre les process decrits ci-dessus, les serveurs de donnees, stockant 
et pouvant transmettre vers au moins un terminal des signaux selon l'invention, 
les supports de donnees numerique pouvant etre lu par un terminal et portant de 
tels signaux, ainsi que les programmes d'ordinateur comprenant des instructions 
pour mettre en ceuvre un codage et/ou un decodage selon l'invention. 

5. Liste des figures 

D'autres caracteristiques et avantages de l'invention apparaftront plus 
clairement a la lecture de la description suivante d'un mode de realisation 
preTerentiel, donne a litre de simple exemple illustratif et non limitatif, et des 
dessins annexes parmi Iesquels : 

- la figure 1 est un organigramme simplifie" illustrant le principe general 
du codage selon l'invention ; 

- la figure 2 presente un organigramme plus d6taille du sch6ma de 
codage de la figure 1 ; 

- la figure 3 est un exemple de maiilage hierarchique ; 

- la figure 4 illustre le principe de l'estimation multi-r6solutions et 
hierarchique selon l'invention ; 

- la figure 5 montre la progression dans les niveaux de hierarchie et de 
resolution ; 

- la figure 6 est un organigramme presentant le principe du "padding" 
par ondelettes ; 

- Ia figure 7A A 7F illustrent le principe de la projection d'une image k 



12 



sur une image i ; 

la figure 8 represente le principe de 1'interpolation bi-lineaire ; 

la figure 9 illustre la projection sur des grilles de reference ; 

la figure 10 illustre le padding 2D par calculs de basses-frequences ; 

la figure 1 1 presente un exemple de signal residu de texture (ou de 

mouvement) ; 

la figure 12 est un algorithme presentant le codage de la texture ; 
la figure 13 est un algorithme presentant le codage du mouvement ; 
la figure 14 illustre l'application de vecteurs non coherents a un 
maill age ; 

la figure 15 donne un exemple de fusion de sommets ; 

la figure 16 illustre un exemple de maillage "n-manifold" ; 

la figure 17 illustre un exemple de maillage a support correct ; 

la figure 18 presente l'operateur de prolongement utilise selon 

l'invention ; 

les figures 19A et 19B presentent respectivement une grille grossiere et 
une grille fine pouvant Stre utilisees dans une version simplified de 
l'invention ; 

la figure 20 illustre le principe du multigrille geometrique ; 

la figure 21 pr6sente une etape de lifting selon l'invention ; 

la figure 22 illustre le principe de I'analyse-synthese d'un signal selon 

l'invention ; 

la figure 23 presente un autre schdma d'analyse-synthese, avec matrices 
polyphases ; 

les figures 24 a 27, commentees en annexe 4, concernent certains 
aspects de l'estimation multigrille ; 

la figure 2S presente un synoptique du principe de suivi d'un maillage 
au cours du temps ; 

la figure 29 illustre la construction d'une mosaique video au cours du 
temps ; 
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- la figure 30 presente le sch6ma de codage par analyse-synth&se ; 

- la figure 31 illustre la structure du flux video g£n6re selon l'invention. 
6. Modes de realisation preferentiels 

6.1 Principe geniral de Vinvention 

La technique de codage selon l'invention, assure un codage de sequence 
vid6o par maiUages et ondelettes 3D, 

Cette sequence est d'abord decoupee en groupe de N images, appelg par la 
suite GOP ("group of pictures" en anglais, pour « groupe d'images »). Le nombre 
damages par GOP peut varier, notamment selon Tintensite du mouvement dans la 
sequence. En moyenne, dans l'exemple decrit ci-apres, la taille d f un GOP est de 
huit images. 

Le codage repose sur une approche de type analyse-synthese. Une 
premiere phase est l'estimation du mouvement par GOP, a 1'aide de maillages 
deformables. La deuxieme phase est le codage du mouvement et de la texture du 
GOP. 

Le mouvement est estime dans les images 1 et t du GOP, ou t est une 
image du GOP et 1 la premiere image du GOP. Lutilisation des ondelettes 3D et 
la nature d'analyse-synthese du schema de codage permettent d'offrir une 
scalabilite naturelle. 

L'approche basee sur les maillages permet d'eviter les effets de blocs 
habituels aux techniques ant&rieures, grace k l'utilisation de champs de 
mouvement continus, et ainsi d'ameliorer la prediction temporelle. 

Le codage de l'invention offre done un flux scalable et progressif. Selon 
Tapproche analyse-synthese, Tanalyse consiste & traiter un groupe damages 
appartenant a une fenStre temporelle, dans lequel le mouvement est estimd. Le 
modele de compensation obtenu permet de compenser les images de la premiere 
image de la fenStre vers la derniere image. Les images peuvent ensuite etre 
plaqu6es sur des grilles de r6ference, afin des sSparer les informations de 
mouvement et de texture. 

i 

Ces informations peuvent ensuite etre cod6es separement en deux 
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couches : 

- une couche de base qui permet de representer le signal video 
6chantillonne, et qui contient Ies informations des images extremes de 
fenetre temporelle ; 

5 - les images internes a la fenetre pouvant alors etre interpolee entre ces 

deux images extremes ; 

- au moins une couche subs<5quente de r6haussement pouvant etre 
rajoutee a la couche de base afin d'am61iorer la qualite de la sequence 
video reconstruite. Les couches de rehaussement apportent un 

10 raffinement de texture et/ou de mouvement aux images internes 

extremes de la fenetre. 

La sequence vid£o est reconstruite par une phase de synthese, qui 
reprojette les images de texture sur leur grille d'echantillonnage original. La 
separation de mouvement et de la texture dans la strategie de codage permet de 
15 coder le mouvement avec pertes, le gain en debit pouvant alors etre repercute sur 
le codage de la texture. L'utilisation des ondelettes dans le codage de la couche 
haute permet par ailleurs d r offrir un flux scalable. 
6.2 Schema general du codaze (figure 1 ) 
® Figure 1 

20 La figure 1 donne une vue generate du principe d'un proc6d6 de codage, et 

d'un codeur selon Tinvention. 

Ainsi que precise precedemment, chaque groupe damages 11 subit tout 
d'abord une etape d'estimation de mouvements 12, basde sur un modele de 
compensation 1 vers t, puis une etape 13 de codage du mouvement livrant d'une 

25 part, un flux "bitstream" de bas niveau 131 et un flux "bitstream" 132 de haut 
niveau ou de rdhaussement. 

Selon le principe d'analyse-synthese, les donn6es representatives du 
mouvement sont redecodees lors du codage, dans une etape 14 de decodage du 
mouvement. L'6tape 15 de plaquage de la texture sur des grilles de reference 

30 d61ivre les informations relatives a cette texture, qui sont ensuite coddes (16), dans 
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deux flux 161 et 162, correspondant respectivement k un flux "bitstream" de 
texture de bas niveau et un flux "bitstream" de texture de haut niveau. 

Les differents flux 131, 132, 161, 162 qui sont ensuite organises pour 
former un train binaire delivre un flux destine a 6tre transmis et/ou stocke, 
5 La figure 2 est une version plus detaillee du schema de la figure 1, dans 

laquelle les Stapes de compensation 12 et de codage 16 la texture sont plus 
detainees. Elle est commence plus en detail par la suite. 

© Principe du codage 

Le schema de codage propose est schema de type analyse-synthese. 

10 Chaque image est rendue par Tintermediaire d'une texture plaquee k l'aide du 
maillage (de fa§on similaire k ce qui peut se faire en synthese d'images). 
L'information de texture ainsi que l'information devolution du maillage sont 
obtenues par l'interm6diaire de l'algorithme d'estimation de mouvement defini 
precedemment ainsi que la technique de construction d'images mosaiques, comme 

15 illustre sur la figure 30. 

Chaque image est restituee par T intermediate d'une texture dynamique 
(i.e. la mosaique dynamique creee pr^cedement) plaqu6e k l'aide du maillage 
deformable. La texture dynamique est codee par Tintermediaire d'une 
representation ondelette 3D. L'information de deformation du maillage est 

20 6galement code par une ondelette 3D. Un niveau de raffinement peut egalement 
Stre ajouter afin de venir raffiner separement chaque image. 

Ce schema de codage offre de nombreux interSts. Tout d'abord, il exploite 
au maximum les correlations spatio-temporelles pr^sentes au sein de la video 
(notamment au niveau des correlations temporelles). 

25 Par ailleurs, il offre la possibility de decoupler 1'information de 

mouvement de l'information de texture au niveau du ddcodeur. Ainsi un codage 
avec pertes des informations de deformations du maillage peut Stre realise sans 
pour autant apporter de degradation visuelle. Par exemple, on peut ainsi toierer 
des erreurs de position d'un pixel dans 1 'image sans pour autant avoir de g§ne 

30 visuelle. Dans un schema de codage classique en boucle.fermee, il serait alors 
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n6cessaire de corriger cette erreur de mouvement via le codage de la texture. 

Le gain potentiel sur le codage de F information de mouvement est 
particuli&rement important, car lors d' application a bas debit (comme par exemple 
256kbit/s pour du GIF a 30 Hz, F information de mouvement peut occuper de 

5 Fordre de 30 a 40 % du debit total dans un schema de type H263). 

Afin de coder les champs d'information de texture et de mouvement, une 
technique de codage par ondelettes 3D est utilisee. Cette technique est basee sur 
Futilisation du codeur ondelettes JPEG2000 pour la texture qui permet de realiser 
une optimisation d6bit-distorsion du codage tout en offrant une scalability 

10 maximale (spatiale et SNR). Le codeur JPEG2000 6tant k la base un codeur 
d'images 2D, le codage par ondelettes 3D est obtenu en lui procurant des images 
multi-composantes, les composantes representant les diffgrentes sous-bandes 
temporelles du volume dMnformation 3D considere. 
o Structure du codage et scalabilite 

15 Afin de coder une sequence video, celle-ci est tout d'abord decoupee en 

GOP (Group of Picture). Sur chaque GOP, F information de mouvement et de 
texture sont cod6s separdment, et de fa?on scalable. De fa?on similaire a la 
structure de codage de MPEG pour les images, on distingue deux types de GOP : 
les GOP Intra et les GOP Inter. Un GOP Intra est un GOP d6codable de fa9on 

20 independante des autres GOP (comme par exemple le premier GOP de la 
s6quence). Un GOP Inter est un GOP cod6 en differentiel par rapport au GOP 
pr€c6dent (le but de ce codage Inter est d'am61iorer la compression en evitant de 
coder une image Intra en debut de GOP). 

Pour chacun de ces GOP, le maillage utilise sur la premiere image est un 

25 maillage r^gulier, il est done connu au codeur et decodeur et n'a pas done besoin 
d'etre cod6 (le cout des parametres le definissant comme le nombre de niveau de 
hi6rarchie ou bien encore la taille des mailles, peuvent en effel etre negliges). La 
premiere image du GOP est soit cod6e en Intra (cas d'un GOP Intra), soit 
r6cup6r6e a parti r du GOP precedent (les GOP Inter ont en commun leur premiere 

30 image avec le GOP precedent). 
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Afin de proposer une scalabilite maximale, les informations definissant la 
derniere image sont tout d'abord cod£es (deformations du maillage, variations de 
texture sur la mosai'que entre la premiere image reconstruite du GOP et la derniere 
image du GOP). Enfin les informations r^siduelles sont codees par une ondelette 
3D avec une technique de codage scalable (cf. JPEG2000). La figure 31 resume 
ces differents niveaux de representation. 

La couche basse peut etre similaire 2t une couche basse de type IPPPP d'un 
schema MPEG. La couche haute scalable du bitstream vient apporter une 
amelioration progressive sur les images intermediate et extr6mite(s) des GOP. 

* Codage de l'information de texture 

Comme presente sur la figure 31, reformation de texture sur un GOP est 
code en deux temps. Dans un premier temps, une couche basse est codee 
consistant en le codage de la premiere image (si Ton est sur un GOP Intra), et du 
codage de la texture de la derniere image en mode differentiel. Dans un second 
temps, le residu est quant a lui code via une ondelette 3D. 

L'information residuelle a coder est definie pour chaque image du GOP 



allant de 
Timage :/?, =/, - 



'instant A k 1'instant t\ comme etant 

H ^ flow j_ t flaw 



Une transformee ondelette temporelle 



est alors definie sur ces images de residus (utilisation du filtre de type Daubechies 
9,7). Les images considerees pour cette transformee ondelettes sont toutes les 
images de residu pour le GOP (excepte Timage du residu de la premiere image 
pour un GOP Inter). Les images des differentes sous-bandes temporelles sont par 
la suite codde via le codeur JPEG2000 en definissant chacune des sous-bandes 
temporelles comme etant une composante de Fimage & coder. 

Du fait que la compensation du mouvement a 6te r6alisee au pr6alable, il 
n'est plus necessaire de prendre en compte la presence du mouvement dans le 
codage. 

Au niveau du d6codage, les informations de couche basse sont dans un 

f 

premier temps d6cod6es, puis les informations de la couche haute (informations 
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dependant du type de scalability utilise pour le codeur). On ajoute alors les 
increments provenant de la couche haute aux informations decod6es a partir de la 

couche basse. 

o Codage de Informatio n de mouvement 

L'information de mouvement est codee de facon similaire a l'information 
de texture. Au niveau de la couche basse, la position du maillage est codee 
uniquement pour la derniere image du GOP. Au niveau de la couche haute, un 
residu est calcul6 sur les positions du maillage via une interpolation lineaire de la 
position des noeuds aux extremites du GOP. 

Le codage du deplacement dans la couche basse est realis6 via un codage 
de type DPCM et en utilisant une quantification scalaire uniforme. Pour se faire, 
un codeur de type JPEG-LS a et6 adapte. 

Sur la couche haute, la transformation ondelette temporelle est dans un 
premier temps realisee pour chaque noeud a 1'aide de filtre de Daubechies 9,7. 
Cette transformed temporelle donne un ensemble de nuages de valeurs 
correspondant a chaque sous-bande temporelle. Ces nuages de valeurs 
correspondent aux valeurs associees aux nceuds du maillage. 

Similairement a ce qui a €t€ propos6 dans [Marquant-2000], une 
transformee ondelette bas6e maillage est realisee sur ces valeurs afin d'obtenir des 
sous-bandes spatiales. Les sous-bandes spatio-temporelles sont par la suite codees 
en plan de bit a l'aide d'un codeur arithmetique contextuel. Une optimisation 
debit-distorsion est realisee afin de definir pour chaque sous-bande spatio- 
temporelle le niveau de plan de bit final retenu pour le codage (technique similaire 
a l'allocation de debit realis6 par JPEG 2000 ou l'on utiliserait des blocs EBCOT 
de grande taille). 

Dans la premiere phase de l'etude, le schema de codage de l'information 
de mouvement etait base" sur le codage du maillage de fagon hierarchique et en 
utilisant un maillage adapte afin d'obtenir de bon taux de compression. 
L' utilisation des ondelettes peut Stre vue en fait comme une m&hode gen6ralisant 
ce type de codage. La quantification laisse apparaftre des zones non codees dans 
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l'arbre de hierarchic L'avantage de l'approche ondelette est de fournir une 
scalabilite fine ainsi qu'une optimisation debit-distorsion adequate, ce qui etait 
relativement difficile a deTmir dans l'approche precddente. 
6.3 Estimation du mouvement 

La premiere etape du schema de codage est 1* estimation du mouvement. 
Les trois points suivants prSsentent differentes methodes d'estimation du 
mouvement entre deux images successives. Le dernier point presente la methode 
d'estimation retenue pour notre codeur. 

° Estimation mouvement (rappels^ 

Le mouvement est estime entre deux images successives t et t+1 a 

1'aide des maillages deformables. Le principe general d'une estimation de 

mouvement consiste en la minimisation d'une fonctionnelle 
Z,p{I{p,t)-l(p-dp,t-l)), avec Q. le support d'estimation, p la metrique 

pen 

d'erreur, la plus utilisee est p(r)= r 2 , I(p,t) la valeur de l'image I au point p et a 
l'instant t, dp le champ de mouvement dense, dp peut s'ecrire : ^w i (p)dp i ou 

i 

Wj(p) represented les coordonnees de p par rapport aux noeuds i, dp; repr6sente ie 
deplacement associe au nceud i. 

Un algorithme de minimisation de la fonctionnelle est decrit dans la 
these de MarquantOO (« Representation par maillage adaptatif deTormable pour la 
manipulation et la communication d'objets videos », Gwenaelle Marquant. These 
de l'universite" de Rennes 1 soutenue le 14 decembre 2000). La minimisation est 
effectuee sur les nceuds du maillage, c'est-a-dire que Ton cherche les vecteurs 
d6placements dpi des noeuds detat+1. 

L'6nergie est minimisee par une descente de gradient (type Gauss- 
Seidel), de maniere iterative. Le systeme a resoudre est de la forme : 
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£| V(.dfd{p))w-WVl x {p -dp,t- 1) 



pel 



V(dfd{p))w,(.p)VI?(P -dp.t- 1) 



. J 

£ w y (p).[V/(p - 4*f - DAdp,] 
L y 



pel 



Vi,dfd(p) = /<p,0 - I(p-dp,t-»mr) = pXr) / r 

Les inconnues de ce systeme sont les Adp r Ce systeme est un systeme 
lineaire, du type A.X=B et creux. La solution peut 6tre obtenue par une technique 
5 de gradient conjugu6, rapide et robuste. 

o Kstimation mnlti-resol ntion et hierarchique 

Dans le cas du codeur de l'invention, l'estimation du mouvement peut 
egalement se faire par maillage multi -resolution et hierarchique. Cette technique a 
pour but d' assurer une meilleure convergence du systeme. En effet lors de fort 
10 mouvement, la technique de minimisation precedente peut ne pas converger, de 
plus F utilisation de maillages tres fins provoque une instabilit6 du systeme due a 
un trop grand nombre de parametres dans le systeme. 

La technique d'estimation de mouvement par maillage hierarchique 
consiste a generer un maillage hierarchique sur les images t et t+1 et a estimer le 
15 mouvement sur differents niveaux de maillage. 

La figure 3 montre un exemple de maillage hierarchique. La representation 
hierarchique est constitute de plusieurs niveaux de representation, le niveau le 
plus bas 30 (niveau 0 sur la figure) possede un champ grossier (3 nauds 
seulement pour deTinir le maillage). 
20 En allant vers les niveaux plus fins 32, 33, 35, le champ se densifie 

progressivement et, le nombre de nceuds du maillage croit. La qualite du 
mouvement varie avec les niveaux, le niveau bas 30 representant le mouvement 
dominant de la scene, et les niveaux fins affinant le mouvement dominant et 
representer les mouvements locaux. Le nombre de niveaux du maillage 
25 hierarchique est un parametre reglable de la phase d'estimation, il peut varier 
selon la sequence a estimer. 

La technique d'estimation multi-resolution consiste a estimer le 
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mouvement a differents niveaux de resolution des images.. Le mouvement est 
d'abord estime entre les images a la plus faible resolution, puis il est raffine en 
utilisant des images de plus en plus fines. Comme d£ja mentionne, Tinvention 
peut s'appliquer egalement dans le cas d'un .maillage a un seul niveau, par 
5 exemple irregulier et adapte au contenu. 

L' utilisation de faibles resolutions permet de limiter 1 ' amplitude du 
mouvement, ainsi un mouvement de grande amplitude a la resolution fine de 
l'image aura une amplitude faible k la resolution grossiere. Une pyramide 
d' images filtr6es et decimees est construite a partir des images t et t+1, puis le 
10 mouvement est estime du niveau grossier vers les niveaux plus fins. 

L'estimation de mouvement multi-resolution et hierarchique, dont un 
exemple est pr£sent6 en figure 4, couple les deux techniques precedentes. Dans un 
premier temps, l'estimation est effectuee sur un maillage et un niveau de 
resolution grossiers. Ensuite, les niveaux de resolution et de hierarchie du 
15 maillage sont affin6s afin de tendre vers la fonctionnelle correspondant a Timage 
pleine resolution avec un maillage fin. 

La figure 4 montre les differentes possibilites d'affinage du maillage et de 
la resolution. 

L'approche -a- correspond k Tapproche multi -resolution seule, et 
20 Tapproche -b- a Testimation hierarchique seule. L'approche -c~ permet d*estimer, 
grSce k la multi-resolution, les mouvements de grande amplitude sur le niveau 
grossier et de raffiner ce mouvement localement k l'aide de la hierarchie de 
maillage. L'approche d est une autre approche combinant multi-resolution et 
maillage hierarchique, son avantage est d'utiliser des niveaux de resolution 
25 adequats par rapport k la taille des triangles du maillage. Le principe de cette 
approche multi -resolution hierarchique pour l'estimation de mouvement a ete 
developpee dans la these de MarquantOO deja mentionnee. 

La figure 5 montre l'approche retenue pour l'estimation de mouvement, 
selon un mode de realisation preferentiel de Tinvention. Cettp technique permet 
30 de prendre en compte les differents types de mouvement que Ton peut rencontrer. 
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Le parametre RO est le niveau de resolution le plus grassier utilise, H_R0 controle 
l'amplitude des mouvements locaux estimes, DH permet de limiter le biais lie a 
une estimation sur une image de faible resolution, Hf repr&sente le niveau de 
hierarchie le plus fin. 

5 Ces parametres dependent du type de sequence, Un jeu de parametres fixes 

donnant de bons resultats est le suivant : Hf est defini afin d' avoir la finesse de 
maillage desiree pour l'estimation de mouvement, H_RO = Hf, DH = 2, RO = 3. 
o Estimation multi-grille 

Le principe de cette technique est explicit^ plus loin. Cette technique est 
10 couplee h l'approche multi-r6solution et hierarchie de maillage lors de 
l'estimation de mouvement. L'estimation multi-grille est utilisee pour resoudre les 
problemes de sous-optimalite qui apparaTssent lors de l'estimation de mouvement 
sur maillages non r6guliers. 
o Combinaison 

15 L'estimation mouvement utilisee dans le codeur est une approche 

combinant la multi -resolution, la hierarchie de maillage et le multi-grille, 
expliquees plus haut. Comme illustre sur la figure 2, le mouvement est estim6 
(122) entre images successives t et t+1, puis il est raffine (123) par une estimation 
entre 1 et t+1, ou 1 est la premiere image du GOP. Le maillage est reinitialise 

20 (121) a la premiere image du GOP suivant. Cette approche est repetee (124, 125, 
126) pour les N images du GOP. 

© Padding de mouvement 

Le padding correspond a 1'extrapolation du mouvement en dehors de la 
zone definie par l'objet. Le but du padding est ainsi de completer un signal 
25 incomplet par des valeurs proches du signal original. Cette operation apparait 
n6cessaire d£s que Ton poss&de un signal incomplet et que Ton souhaite le traiter 
comme un signal complet. 

Dans le cadre de Testimation de mouvement, cette operation intervient a la 
fin de l'estimation du mouvement entre chaque image. En effet, a Tint&ieur d'un 
30 GOP, l'estimation est relancee h chaque fois & partir du maillage deform6 issue de 
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la pr6c6dente estimation, lorsque des mailles sortent du domaine de definition de 
Timage, elles gardent leur forme deformee. Or, ensuite lorsque ces mailles entrent 
de nouveau dans le domaine de definition (mouvement d'aller-retour dans 
Timage), T estimation suivante est de meilleure.qualite si les mailles qui rentrent 
5 sont homogenes, c*est-&-diie si elles ne sont plus deform^es. 

Une op6ration de padding de mouvement est alors appliquee a chaque fin 
d'estimation afm de lisser les mailles situees en dehors du domaine de definition 
de Timage. 

Le principe du padding peut Stre le m6me quelque soit le type 
10 d' information que Ton souhaite completer, texture ou mouvement. II est 
semblable a Tapproche multigrille vue plus loin. Le principe est done celui 
d'analyse-synthese, et on utilise une representation ondelette hi6rarchique de 
T information. 

Si s est le signal a completer, on cherche s une approximation du signal 
15 telle que s = ^c fc (p ky avec (p k uno base de fonctions orthonormales. 

Pour cela, on minimise la fonctionnelle||.s t --£|| 2 . Le procede de 

minimisation se fait de maniere iterative, comme illustre en figure 6. 

Une premiere approximation grossiere v? G est calcutee (analyse 61), puis 

cette premiere approximation est prolong6e au domaine fin (synthase 62), pour 
20 obtenir (67) $ f . On calcule (63) le r6sidu s -s f , et on affine ensuite la premiere 

approximation en appliquant le processus sur le r6sidu calculi. 

Le processus est reitere jusqu'a un critere d'arrSt (65) qui teste si le r&idu 
est infSrieure a un certain seuil, seuil determinant la finesse de T approximation du 
signal. Le padding consiste alors & remplir les zones du signal initial incomplet 

25 par T approximation complete du signal (66). 

Les Stapes d' analyse et de synthese sont dependantes de la nature du signal 
& completer, suivant que le signal represente les informations de mouvement ou 
de texture. Si le signal represente les informations de mouvement, le signal k 
completer est un maillage hi6rarchique. On cherche & completer le niveau de 

30 hterarchie fine, on va alors calculer successivement les approximations sur les 
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niveaux inferieurs, en allant du plus grossier au plus fin. 

L'analyse sur un niveau se fait par la resolution du systerne permettant de 

determiner le mouvement ondelette sur ce niveau, c'est-a-dire que Ton cherche le 

meilleur mouvement a partir des mailles de ce niveau. 
5 L' approximation du niveau fin est ensuite mise k jour avec la solution 

trouvee. Le residu du systerne est calcule sur le niveau fin, et on passe au niveau 

grossier sup^rieur, le systerne du niveau fin etant converti au niveau grossier, et 

Ton cherche le mouvement ondelette de ce niveau. Au fur et a mesure de la 

propagation dans les niveaux, T approximation du niveau fin s'affine. Le 
10 processus s'arrete lorsque Ton a resolu le systerne pour chaque niveau grossier. 

Enfin, les valeurs non definies dans le maillage fin initial sont mises & jour a partir 

de 1' approximation fine. 

L'analyse et la synthese d'un signal de texture sont expliquees plus loin 

dans la partie separation du mouvement et de la texture. 
15 6.4 Codage scalable sur deux couches 

• Couche de base 

Le codage se fait sur deux couches : une couche basse et une couche haute. 
La couche basse contient les informations concernant la premiere et la derniere 
images du GOP. Les images intermediates du GOP sont reconstruites par 
20 interpolation entre ces deux images. 

Le mouvement et la texture sont obtenus par une interpolation Iin£aire, 
puis les images sont synthetisSes sur leur grille d'echantillonnage & partir du 
mouvement et de la texture interpoles. LMnterpolation lineaire est de la forme : 
I(t) = a*I(l)+(l-a) :i: I(N), avec 1(1) la premiere image du GOP, I(N) la derniere 
25 image du GOP, I(t) une image du GOP entre 1 et N, a=t/N, Ix represente soit 
reformation de texture de 1'image x, soit rinformation de mouvement. 

La couche basse est la couche de base qui assure la quality minimale de 
reconstruction pour le codeur. Elle represente le signal initial 6chantillonn6 d'un 
pas de N images. 
30 © Couche basse de type P en boucle ferm6e 
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La couche basse est de type P, la premidre image est codee en INTRA, les 
images suivantes sont codees par prediction a partir de Fimage I ou P precedente 
codee-d6codee pour fonctionner en boucle fermee. La couche basse contient les 
informations de texture et de mouvement de la derniere image du GOP et les 
5 informations de la premiere si le GOP est un GOP INTRA. 

Si le GOP est un GOP INTRA, la couche basse contient l'image 1(1) 
codee. L'image I(N) est codee par prediction, on code I(N)-I(1), oCi f(l) est 
l'image 1(1) codee-decodde. Si le GOP n'est pas un GOP INTRA, seules les 
informations de mouvement et de texture de I(N) sont codees dans la couche 
10 basse. Dans ce cas, pour predire I(N), on utilise I(N) du GOP precedent, c'est-a- 
dire 1(1) du GOP courant est egale a t(N) du GOP precedent, avec I(N) l'image 
I(N) codee-decodee. 

© Couche de raffinement scalable 

La couche haute est une couche de raffinement qui contient les 
15 informations de mouvement et de texture des images du GOP. Le raffinement des 
images extremes (premiere et derniere images du GOP) est un raffinement du 
codage par rapport k leur version dans la couche basse. Le raffinement des images 
interm€diaires est 1'erreur de prediction entre ces images et leur interpolation k 
partir de la couche basse, cette erreur est dl(t)=l(t) - 1(1) - a*(I(N)-I(l)). 
20 La couche haute est codee par exemple par un codeur JPEG-2000, offrant 

un flux scalable. 

6.5 Separation du mouvement et de la texture 

• Plaquage des images sur une grille de r6ference 

i. Le mouvement est code separSment de la texture. Le mouvement est 
25 donne par la position des noeuds du maillage k chaque instant t, 

correspondant k chaque image. La texture est r£cup6r£e par une 
operation de plaquage des images sur une grille de reference. 
La grille de reference est une grille d'echantillonnage definie par la 
position des noeuds dans cette image. L'operatipn de plaquage de 
30 l'image i sur l'image k consiste k reconstruire l'image i sur la grille 
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de Timage k, c'est-a-dire k redresser Fimage i par rapport a 1' image 
k, Timage reconstitute Ir a la meme grille d'6chantillonnage que 
T image k. 

Le support de reconstruction des images peut etre plus grand que le 
support initial de Timage afin de prendre en compte les mouvements 
qui sortent de Timage, la taille du support est determinee a 
Testimation du mouvement et depend de Tamplitude de celui-ci. Au 
moment du plaquage sur la grille de reference, on recupere 
egalement un masque de meme taille que le support de plaquage et 
indiquant les pixels du support qui ont 6t6 reconstruit. 
L'exemple illustre par les figures 7 A k 7F montre le plaquage d'une 
image k (figure 7B) sur une image i (figure 7 A), connaissant le 
mouvement entre i et k (position du maillage a i (figure 7C) et 
position du maillage a k (figure 7D)). 

L'algorithme 1 present^ en Annexe 3 est Talgorithme de 
reconstruction de Timage k projetee sur Timage i (figure 7E). Pour 
reconstruire Timage Ir, on parcourt cette image, les positions des 
pixels etant done entiferes, et on cherche le correspondant de chaque 
pixel de Ir dans Timage k en lui appliquant le mouvement inverse de 
i vers k. 

Les vecteurs mouvement n' ay ant pas des valeurs entieres, le pixel 
correspondant n'a done pas une position a valeurs entieres. Une 
interpolation bilineaire est alors necessaire pour calculer sa valeur de 
luminance. 

La figure 8 detaille T interpolation bilineaire effectuee entre les 
valeurs de luminance aux valeurs entieres : 

Interpolation bilineaire de la luminance L en M : 

a = (l-u)*L(p,q) + u*L(p+l,q) 

b = (l-u)*L(p,q+l)+u*L(p+l,q+l) 

L (u . v) = (l-v)*a+v*b 
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La luminance ainsi calculee est affect£e au pixel courant de 1' image 
Ir a reconstruire. Les pixels reconstruits doivent d'abord etre 
contenus dans le masque de definition de Timage i, puis les pixels 
d6places doivent etre predictibles c'est-a-dire contenus dans le 
masque de definition de l'image k, le masque de prediction (figure 
7F) de P image k prend alors la valeur « vraie » aux pixels repondant 
a ces deux criteres. 

. Au niveau du choix des grilles de reference pour la projection des 
images et la r6cuperation des textures, on utilise, comme illustr6 en 
figure 9, deux grilles d'echantillonnage de reference, celle de la 
premiere 71 et celle de la derntere image 72 du GOP. Pour un GOP 
de N images, les images 73 de 1 & (N+l)/2 sont plaquees sur la 
premiere image 71 du GOP, les images 74 de (N+l)/2+l k N sont 
plaquees sur l'image N 72. 

Padding 3D de la texture 

. Padding 2D 

Le plaquage des images sur une autre grille de reference que la Ieur 
implique que des zones du support restent indefinies apres 
Toperation de plaquage. Ces zones sont repSrees gr&ce au masque de 
prediction de T image plaquee. Ces zones non definies sont remplies 
par une operation de padding. 

Le padding d'une image consiste a remplir les zones oix l'image n'est 
pas definie par des valeurs proches de celles d6finies du voisinage. 
Le padding est bas6 sur un principe d'analyse-synthese. 
L'image a completer est analys£e, puis synth£tis£e, et on calcule le 
residu par rapport h la synthese et on reprend 1' analyse sur ce residu. 
La figure 10 montre un tel principe. Des versions basse frequence 
successives de Timage sont calculdes avec les valeurs definies sur 
des blocs recouvrant IMmage, puis les basses frequences sont 
successivement expans6es dans les zones non definies. 
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Par exemple pour une image Io 101 au format CIF de taille 352x288 
pixels, une premiere basse frequence est calculee sur un bloc de 
taille 512x512 recouvrant toute l'image. La moyenne est calculee sur 
les pixels de l'image qui sont definis dans le masque de prediction, et 
les pixels non definis sont a 0 (en noir sur la figure). 
Une image moyenne Imoyl 102 de la taille du bloc est remplie avec 
la valeur de la moyenne calculee. 

Comme il n ? y a qu'un bloc, il n'y a qu'une seule valeur de moyenne. 
Une image r6sidu II 103 est alors calculee en soustrayant l'image 
originale a l'image moyenne (II = Io - Imoyl). 
(*) Le bloc de taille 512x512 est divise en 4, (les blocs sont de taille 
256x256), et le processus reprend alors au calcul de la moyenne sur 
chaque bloc, mais la moyenne est maintenant calculee sur les pixels 
de l'image residu II qui sont definis dans le masque de prediction de 
Fimage originale. L'image moyenne Imoy2 104 obtenue est ajoutee 
(105) a l'image moyenne precedents La derniere image obtenue 105 
est soustrait all pour obtenir 12 106. 

Le processus reprend depuis (*) en considdrant 12 a la place de II. 
Ce processus s'itSre jusqu'a ce que la taille des blocs soit egale a la 
taille du pixel. 

Le remplissage des zones non definies par des versions basses 
frequences entraine un flou dans ces zones ind6finies par rapport aux 
zones definies. 

Cependant la continuity dans l'image est preservee. Les zones non 
d6finies deviennent definies apres 1' operation de padding, le masque 
de prediction de l'image originale prend alors la valeur « vraie » en 
tout pixel de V image, 
iv. Padding temporel 
Le padding effectue par le codeur est un padding 3D. II prend en 
compte des images 2D et la dimension temporelle. Un padding 2D 
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est effectue" sur la premiere (II) et la derniere image (IN) du GOP, 
puis un padding tempore! est effects pour completer les autres 
images du GOP. 

Le padding temporel utilise le fait que les images internes du GOP 
sont preciites par une interpolation lineaire entre les deux images 
extremes. Comme on code ensuite les residus de prediction par 
ondelette 3D, on cherche a avoir des residus le plus faible possible. 
Le padding doit done completer les zones non definies avec des 
valeurs qui donneront des residus tres faibles, voire nuls en ces 
points, tout en gardant une continuite spatiale et temporelle. 
Pour cette raison, les images internes du GOP sont completers par 
une interpolation lineaire a partir des deux images extremes paddees 
spatialement. On parcourt done chaque image du GOP entre 1 et N, 
et pour chaque pixel de l'image courante t. Si le pixel est non deTini 
dans le masque, sa valeur est alors : a*I(l)+(l-a)*I(N) , oil a = t/N. 
6JL Codaee du mouvement 

Le principe de ce codage est illustre par I'organigramme de la figure 13. 
• Codage dans la couche. hassp. 

Dans la couche basse, les informations de mouvement codees sont les 
positions du maillage dans la derniere image du GOP. 

i. On effectue une prediction (131) des positions du maillage 
dans la derniere image avec les positions du maillage dans la 
premiere image du GOP. On code alors l'erreur de prediction, 
comme expliquee precedemment : (couche basse de type P). 

ii. Les informations de mouvement issues de l'estimation sont 
donnees pour le niveau de hierarchie du maillage le plus fin. 
On effectue alors une remontee (132) des valeurs vers les 
niveaux plus grossiers. Pour le niveau le plus grossier, on a les 
positions des nceuds intervenants a ce niveau, et pour les 
niveaux suivants plus fins, les positions des nouveaux nceuds, 
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noeuds milieux d'arcs. 

Les valeurs sont ensuite quantifies (133) avec un pas de 
quantification de 0.5, 

Puis les valeurs quantifies sont pass6es a un codeur 
arithm&ique (134) qui definit une statistique differente pour 
chaque niveau de hierarchie. Un codeur arithmetique code un 
ensemble de valeurs par un message constitu6 de plusieurs 
symboles. Les symboles ne sont pas codes separement. Si on 
represente le message resultant a Taide d'intervalles, chaque 
message possible est code sur un intervalle Ii de probability pi. 
La statistique d'un codeur arithmetique est Tensemble des 
probabilites de chaque intervalle. Dans le cas de Tinvention, le 
codeur initialise les probabilites k 1/n, ou n est le nombre de 
symboles a coder, au depart tous les messages sont 
6quiprobables. Les probabilites sont mises & jour h chaque fois 
qu'une valeur de P ensemble est a coder. Quand toutes les 
valeurs sont codees, il suffit de transmettre un nombre compris 
dans Tintervalle du message resultant. 

Le codage arithmetique des positions du maillage utilise des 
statistiques differentes pour chaque niveau de hierarchie, car 
les valeurs sur un niveau de hierarchie donn6 ont plus de 
chances d'etre proches les unes des autres, que des valeurs 
entre niveaux diffiSrents. La similitude des valeurs permet de 
reduire la taille du message h transmettre, done un gain en cout 
de codage. 

Seuls les noeuds valides du maillage sont a code. Un nceud est 
valide s'il appartient h un triangle valide, et un triangle est 
valide s'il reconstruit au moins un pixel dans le masque de 
l'image. Les noeuds non valides ne reconstruisent aucun pixel 
de Timage, il est inutile de les coder. 
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Codage dans la couche haute 

i. Les informations de mouvement dans la couche haute sont les 
informations concernant les positions intermedial res du 
maillage, entre la premiere et la derniere image du GOP. On 
decode done les positions dans la derniere image (135), puis 
on predit par interpolation (136) les positions des images 
interm6diaires. On code les r€sidus (137)d'interpolation entre 
les positions dans ces deux images et les positons 
intermediaries. Si m(l) et m(N) sont respectivement les 
positions du maillage dans la premiere et la derniere image, les 
r6sidus que Ton code ensuite sont alors : res(t) = m(t) - m(l) - 
(l-t)/N*m(N). Les residus que Ton code sont les residus des 
noeuds valides. 

ii. Les residus sont transformes (138) par une ondelette 
temporelle «zeroside» avec un filtre d'Antonini (donne en 
annexe 1). 

iii. Le mouvement r6sidu des images intermediaries, est ensuite 
transform^ en mouvement ondelette (139). Le mouvement 
ondelette est la representation du maillage par niveaux 
hierarchiques, oil pour chaque niveau, la position des noeuds 
donn6e est la position optimale pour ce niveau de hi6rarchie. 
Le niveau le plus grossier donne le mouvement global de la 
scene, les niveaux plus fins permettent des raffinements 
successifs des mouvements locaux. A chaque niveau de 
maillage, les informations ^ coder sont les nouveaux noeuds 
cr£es en milieux d'arcs et le raffinement des positions des 
noeuds dej& presents au niveau inferieur. 

iv. Le fait d'avoir des positions de noeuds optimales & chaque 
niveau de hi^rarchie permet d'effectuer^ une optimisation 
d€bit/distorsion sur chaque niveau. 
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Le processus d'optimisation debit/distorsion 1310 calcule 
d'abord pour chaque niveau de hierarchie, les debits et 
distorsions associes h chaque pas de quantification. Pour un 
debit donne, on cherche la combinaison optimale des differents 
points de chaque niveau de hierarchie, combinaison qui 
fournira le meilleur compromis entre debit et distorsion, 
chaque niveau est ponder6 par un poids tenant compte de son 
influence sur la qualite du mouvement rendu. 
Les niveaux grossiers auront un poids plus important que les 
niveaux fins, ce qui signifie que lors de la recherche de la 
meilleure combinaison, la distorsion associ6e h un pas de 
quantification sera plus forte pour un niveau grossier que pour 
un niveau fin. En effet, une erreur au niveau grossier est plus 
visible qu'a un niveau fin. 

Le processus d' optimisation debit/distorsion fournit les pas de 
quantification associes a chaque debit a appliquer a chaque 
niveau de hierarchie du mouvement pour avoir un codage 
optimal. 

v. Les valeurs des niveaux de hierarchie sont ensuite quantifies 
pour un debit donne et pass6es & un codeur 
arithm6tique (1311). 
© Codage avec pertes 

Une des innovations de Invention par rapport aux schemas existants est 
que le mouvement est code avec pertes. Le mouvement cod6 avec pertes permet 
de reconstruire une video de meme aspect que la video originale mais decalee au 
niveau pixel. 

En, effet, la video reconstruite est en fait synthetisee avec les informations 
de mouvements et de texture decodes. Le codage du mouvement avec pertes tient 
compte du fait que 1'oeil humain est moins sensible aux defauts de mouvements 
d'une video qu'aux d6fauts de textures. Ainsi, le d6bit gagne sur le mouvement 
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est r€percute sur le codage de la texture et permet d'ameiiorer celle-ci. 
6.7 Coda&e de la texture 

Le principe de ce codage est illustre par Talgorithme de la figure 12. 
o Codage dans la couche basse 
5 i. Si le GOP a coder est un GOP intra (test 121), on code (122) la 

premiere image du GOP en intra avec un codeur JPEG-2000. 

ii. On predit (123) la derniere image du GOP avec la premiere 
image. Si le GOP est un GOP intra, 1' image servant a la 
prediction est la premiere image du GOP ddcodee (124) ; sinon 

10 c'est la derniere image du GOP precedent codee-decodee 

(125). L'erreur de prediction est alors cod6e (126) par un 
codeur JPEG-2000. 
© Codage dans la couche haute 

i. Les images extremes codees en couche haute sont un 

15 raffinement de codage par rapport a la couche basse. Si le GOP 

est un GOP intra, la premiere image dans la couche haute est 
un raffinement de codage sur cette image. Si le GOP est un 
GOP inter, on n'a pas de raffinement pour cette image. Le 
raffinement sur la derniere image est toujours present. 

20 ii. Comme pour le mouvement, des residus d'interpolation sont 

calcules (127) sur les images intermediates, a partir des image 
interpolees (128). Soient 1(1) et I(N) les images extremes du 
GOP, res(t) = I(t) - 1(1) - (l-t)/N*I(N). 

iii. Les r6sidus sont ensuite transformes par une transformee 
25 ondelette temporelle (129). La transfqrm£e ondelette est 

utilisee sous sa forme lifting et le filtre utilise est le 5/3 (donne 
en annexe 1), 

La transformee est appliquee sur les residus des images 
intermediaires le long de la trajectoire du mouvement. 
30 Des compensations en mouvement sont alors necessaires au 
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moment du calcul de coefficients n'utilisant pas la meme 
image de reference. 

La transformee est une transformee « zeroside ». Avec 
Interpolation effectuee, le signal a transformer est nul aux 
extremity. En effet les valeurs de la premiere image du GOP 
et de la derniere image sont nulles par T interpolation utilisee : 
I(t) imcrp = (l-a)*I(l) + a*I(N) , pour 1(1) et I(N), a vaut 
respectivement 0 et 1, ce qui donne alors 0 pour Ie residu en 1 
et N. 

La figure 11 donne Failure du signal residu considere I(t)-I(t) 
interp. La forme du signal montre la validite de la prediction 
du signal texture (et mouvement) par Tinterpolation lineaire. 
La prediction est exacte aux extremites et de moins en moins 
sfire au fur et a mesure que Ton s'approche du centre du GOP. 
Lors de la transformee temporelle, le signal transforme est le 
residu d'interpolation defini entre 2 et N-L 
Au moment du calcul de coefficients situes aux bords du 
signal, une symetrie est appliqu^e au signal pour pouvoir 
simuler un signal a support de longueur infinie. Cependant, 
comme on connait la valeur du signal en 1 et N (en ces points 
le signal est nul), on considere que la transformee est en fait 
appliquee de 1 a N. De ce fait, on n'applique plus une symetrie 
aux bords mais une an ti symetrie. 

Les sous-bandes resultant de la transformee ondelette 129 et 
les raffinements de codage des images extremes (obtenu par 
calcul des r6sidus 1210 et 1211, respectivement sur la premiere 
image d^codee (124) et la dernidre image d£cod6e (1212)) sont 
ensuite codes par un codeur 1214 progressif scalable, de type 
JPEG-2000. 

Les niveaux de decompositions en ondelette utilise dans la 
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decomposition en ondelettes spatiales 1213 sont diff6rents 
suivant la nature de la composante zi coder. Les r6sidus de 
codage sont des hautes frequences qu'il est preferable de 
transformer avec peu de niveaux de decomposition 
5 d'ondelette, on utilise un seul niveau de decomposition et des 

blocs de taille 16x16. Pour les sous-bandes temporelles, on 

« 

tient compte de la frequence de la sous-bande : pour la basse 
frequence, on utilise cinq niveaux de decomposition, pour les 
trds hautes frequences trois niveaux et pour les hautes 
10 frequences intermediates quatre niveaux de decompositions. 

La taille des blocs est 64x64 quelle que soit la sous-bande. 

6.8 Train binaire 

Le train binaire est compose des quatre flux resultant des quatre codages : 
flux de texture bas niveau, flux de mouvement bas niveau, flux de texture de 
15 r6haussement, flux de mouvement de rehaussement. L'agencement du train 
binaire est un agencement multi-champs qui depend de r application n£cessitant le 
train binaire. 

L' application dispose de trois champs : mouvement, texture et forme. 
Chaque champ peut etre coupe n'importe ou, une qualite de base etant assur£e 
20 pour chaque champ par les informations de la couche basse de chaque champ. 
L' application peut alors choisir la qualite desir6e pour chaque champ 
(mouvement, texture et forme), les champs resultants sont alors multiplexes pour 
former un train binaire k transmettre k Tutilisateur. 

6.9 Processus de decodage 

25 Le processus de decodage recupere les informations de mouvement et de 

texture du flux binaire. Le mouvement est d'abord decode puis la texture. 
o Decodage du mouvement : 

Un maillage hierarchique regulier est g6n6re par le decodeur sur la 
premiere image, de la meme maniere que le codeur Tavait fait^ ainsi les maillages 
30 initiaux du codeur et decodeur sont identiques. Les positions du mouvement dans 
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la derniere image sont alors decodees, a ces positions sont ajoutees les positions 
du maillage de la premiere image. 

Les positons des images intermediaires sont interposes, comme au 
codage, par les positions dans la derniere image et dans la premiere image. Puis, 
1' information de mouvement de la couche haute est decodee au debit indique en 
parametre. 

Les informations decodees correspondent aux sous-bandes spatio- 
temporelles de mouvement. La transformation inverse en mouvement ondelette 
est appliquee sur les sous-bandes, puis l'ondelette temporelle inverse (filtre de 
synthese d'Antonini donn6 en annexe 1) est appliquee. Les residus obtenus sont 
ajoutes aux valeurs precedemment interpolees. 

© Decodage de la texture : 

Le decodage de la texture est similaire au decodage du mouvement. II est 
cependant necessaire d' identifier si le GOP courant est un GOP intra. Si c'est le 
cas, la premiere information de texture de la couche basse a decoder est la texture 
de la premiere image du GOP. Une fois celle-ci decodee, le residu de la derniere 
image est decodd et ajout6 a la prediction de la derniere image (prediction 
effectuee, de la m6me facon qu'au codage par la premiere image). 

Les images intermediaires sont ensuite interpolees comme on Pa fait au 
codage. Si le GOP est un GOP inter, la prediction de la derniere image du GOP 
est faite par la derniere image decodee du GOP precedent. Les informations de 
texture de la couche haute sont ensuite decodees. Les residus de codage des 
premiere et derniere images du GOP sont respectivement ajoutes a celles-ci. 

Les sous-bandes temporelles des images intermediaires sont transformers 
par l'ondelette lifting 5/3, les filtres utilises en lifting dans la transformee directe 
et la transformee inverse sont les memes, seuls les signes des deux etapes sont 
inverses, selon le principe du lifting expliqu6 en annexe 2. 

Les residus obtenus sont ajoutes aux images intermediaires precedemment 

interpolees. 

o Synthese de la sequence vid6o : 
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La synthese de la sequence vid6o projette les images de texture sur leur 
grille d'echantillonnage originate, c'est la phase qui couple le mouvement et la 
texture pour obtenir au final une sequence video synthetis6e la plus proche 
possible de la sequence video originate. 

5 © Mesure de qualite de la sequence vid6o reconstruite : 

Le calcul du PSNR entre la video reconstruite et la vid6o originate ne 
donne pas un crit&re fiable permettant de juger de la qualite visuelle restitute par 
la vid6o reconstruite. En effet, le codage du mouvement avec pertes implique que 
la- sequence video est synth6tis6e de mantere decatee par rapport a la sequence 

10 originate, le PSNR calcule alors biais6 par ce decalage. 

Le critere utilise alors pour la mesure de qualit6 de la sequence synthetisee 
est un PSNR calcule dans le domaine des images de texture. L'hypothese faite est 
que 1'oeil humain n'est pas sensible aux defauts de mouvement d'une sequence, 
dans la mesure oii les defauts restent inf&rieures a un certain seuil. 

15 De ce fait, le PSNR texture, qui calcule la distorsion entre les images de 

texture originates et les images de texture ddcodees, rend une mesure de qualite 
restituee de la sequence synthetisee. 

6.9 Gestion des retournements generS p ar V estimation de mouvement base 
maillag e 

20 • Principe 

Les maillages deformables definissent une representation continue d'un 
champ de mouvement alors que le mouvement reel d'une sequence video est de 
nature discontinue. Ainsi, lorsque differents plans et objets se recouvrent dans une 
scene, des zones d'occultation et de d6couvrement apparaissent, g6nerant des 

25 lignes de discontinuity. 

Mod61iser de tels artefacts par un maillage global, par opposition aux 
maillages segmentes selon les objets vid6o constitutifs de la scene, constitue une 
difficult^ non resoluble sans modification du modele de representation. L'enjeu 
consiste done & 61iminer cette degradation visuelle mais aussi ( la limite en terme 

30 d' analyse, en determinant les zones en defaut. Classiquement, ce type de 
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perturbation du champ reel de mouvement entraine dans sa representation maillee 
des retournements comme peut le montrer la Figure 14. 

Habituellement, afin de resoudre ce probleme, deux types de techniques 
sont utilises : le post-traitement et la mise en place de contraintes de non- 
5 retournement. 

Le post-traitement peut etre realise suivant deux types de scenarios : le 
premier (correction a posteriori) consiste a appliquer tel quel les vecteurs de 
mouvement, & detecter ceux en defaut puis & corriger leur valeur ; le second 
procede it£rativement, ajoutant une partie du deplacement escompte aux nceuds & 

10 chaque iteration tel qu'il n'y a pas de retournement, et bouclant jusqu'a 
convergence du processus. 

Les m^thodes de post-traitement agissant une fois I'estimation realisee, le 
resultat est sous-optimal car les vecteurs de mouvement sont corrig6s 
independamment de leur contribution a la minimisation de Perreur de prediction. 

15 Une amelioration consiste done a optimiser le champ en prenant compte au cours 
du processus d' optimisation les contraintes de non-retournement. 

Pour cela, on doit adapter I'estimation de mouvement en ajoutant a Perreur 
quadratique de prediction un lagrangien augmente permettant de corriger la 
deformation des triangles lorsque ceux-ci s'approchent du triangle d'aire nulle. 

20 Cette derniere technique permet effectivement de determiner la solution optimale 
du probleme, si ce dernier representait un champ continu. Or, la nature d'une 
sequence video etant discontinue, on peut utiliser une autre technique consistant h 
determiner les zones de discontinuity afin de les restaurer en generant 
1'apparition ou disparition d'objets, 

25 o Approche utilisee dans le mode de realisation dgcri t 

Cette technique, dans le document de brevet FR-99 15568, permet de 
resoudre le probleme de retournement g£n6r£ par Testimateur de mouvement base 
maillage. 

Elle consiste k laisser Testimateur de mouvement cr6er les 
30 retournements entre deux instants successifs tl et t2 ; ainsi en rep6rant les zones 
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de retournements, les zones de discontinues sont d&ectees. Le processus consiste 
alors a realiser une nouvelle estimation de mouvement entre tl et t2 en excluant 
les zones en defaut (zones contenant au moins un retournement) afin de minimiser 
l'erreur de prediction entre les deux images considerees. 

Cette ^optimisation permet de determiner les vecteurs de mouvement 
optimaux pour la zone continue (i.e. admettant une bijection entre tl et t2) et 
d'eviter ainsi la perturbation des valeurs des vecteurs mouvements obtenus dans 
1' optimisation pre'ce'dente generee par les zones de discontinuites. 

Dans cette approche, Les zones en d<5faut peuvent alors etre traitees de 3 
manieres differentes. 

• Propagatio n artificielle 

La premiere idee consiste h propager de fagon artificielle les vecteurs de 
mouvement des sommets du maillage ayant exclu les zones en defaut, appetes 
sommets INSIDE, vers les sommets des zones en defaut pour lesquels nous avons 
optimise la compacite des triangles concerned. Cette propagation repose sur un 
double balayage iteratif avant-arriere, applique aux sommets du plus bas niveau 
de la pyramide ou les vecteurs de mouvement ont 6t6 optimises (niveau note LJ. 
Cette approche s'inspire des calculs de carte de distance de chanfrein (« Les 
distances de chanfrein en analyse d'images : fondements et applications ». 
Edouard THIEL. These de l'Universite Joseph Fourier de Grenoble soutenue le 21 
Septembre 1994). Elle suit 1'algorithme suivant : 
Algorithme ; 

e Pour tous les sommets S de L„, 

si INSIDE(S) alors S devient PROPAGATED sinon S devient non- 
PROPAGATED 

» hirer tant qu 'il reste des vecteurs mouvement indefinis 

• Pour tous les sommets S de L m parcourus de haut-gauche vers bas- 
droite 

si non-PROPAGATED(S) et S possede au moins 2 voisins 
PROPAGATED 
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alors MOUVEMENT(S) = moyenne des MOUVEMENTs des 
voisins PROPAGATED 

S devient PROPAGATED 
o Pour tons les sommets S de L m parcoutus de bas-doite vers haut-gauche 

si non-PROPAGATED(S) et S possede au mains 2 voisins 
PROPAGATED 

alors MOUVEMENT(S) = moyenne des MOUVEMENTs des 
voisins PROPAGATED 

S devient PROPAGATED 
o Pour tous les sommets P de la pyramide parcounie de L m ., a L 0 
MOUVEMENT(P) = MO UVEMENT(F) tq P est pere de F 

On peut egalement utiliser deux autres techniques : la fusion de sommets 
et les maillages n-manifold. 

o Fusion de sommets 

La premiere consiste a detecter au niveau du decodeur les zones 
d'occultation d6terminees par les triangles ayant des sommets aux vecteurs de 
mouvements antagonistes (critere CA). Effectivement, les triangles ainsi detectes 
sont susceptibles de se retourner puisque leurs sommets sont positionn6s sur des 
objets differents (un des deux objets occultant son voisin). 

Dans ce cas, on propose de pratiquer une fusion d'arStes (« edge 
collapse ») entre deux sommets voisins ayant un mouvement antagoniste. II en 
nSsulte la disparition d'un triangle, traduisant la disparition d'une partie d'un objet. 

Ce principe, est illustre par la figure 15. 

o Maillage "n-manifold" 

Un deuxieme proc6de consiste h travailler sur des maillages n-manifold 
(une ar6te peut Stre partagee par n, n>=2, triangles au lieu de 1 ou 2 
habituellement). Pour ce faire, on realise les estimations de mouvements. 
Lorsqu'une zone d'occultation est d&ectee (retournement de triangles), les 
triangles alors associds a cette zone sont marques d'un flag OVERLAPPED 
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(nouveau flag). 

On refait alors Toptiraisation de mouvement en excluant les triangles 
OVERLAPPED. Cette seconde optimisation peut conduire au retournement de 
nouveaux triangles : ceux-ci sont 6galement marqu6s OVERLAPPED et 
1 'optimisation est de nouveau calcuI6e. La zone OVERLAPPED marque ainsi les 
ddcouvrements ou recouvrements. 

Les zones marquees OVERLAPPED, correspondent done k des objets 
ayant 6t6 occult6s. Lidee retenue consiste a temporairement evincer ces triangles, 
tout en les conservant en m^moire afin de g6rer dconomiquement leur r6apparition 
future. 

Selon la topologie d'un sous-maillage OVERLAPPED, deux cas se 
pr^sentent : 

• Les fronti&res du sous-maillage sont rescindees. Le raaillage devient n- 

manifold (avec n = 3 ) ;; 
® Une seule partie des frontieres du sous-maillage est rescindee et dans 

ce cas une correction locale intra doit etre realisee sur les autres mailles 

OVERLAPPED. 

Le fait d'utiliser un maillage n-manifold permet de conserver les 
informations photometriques relatives k des zones pouvant disparaitre mais 
egalement apparaitre k diverses reprises durant la sequence. 

Un exemple d'un tel maillage "n-manifoId M est illustre par la figure 16. 

fLUL — Exemple de mise en oeuvre pour la gestion des retournements des 

maillages : 

- Detection et deconn exion des triangles degeneres ou retoumes ; 

Afin de limiter les retournements de mailles, les triangles susceptibles de 
provoquer des retournements sont detects k la fin de l'estimation 1 vers t. Ces 
triangles ont une forme degdneree et provoque des perturbations dans Testimation 
de mouvement, ils indiquent les zones de d^couvrements et recouvrements. 

A leur detection, ces mailles sont deconnectees du reste du maillage et 
restimation est relanc^e sans prendre en compte ces zones. De la mSme fa9on, les 
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triangles retourn6s sont detectes et deconnectes du maillage. La detection des 
triangles retournes se fait en regardant si le triangle est defini dans le sens positif 
ou n6gatif. Initialement tous les triangles sont orients dans le sens positif (direct), 
si lors du calcul du produit vectoriel du triangle le signe est negatif, alors le 

5 triangle est retourne. La detection des triangles degencres se fait par l'etude de la 
deformation du triangle entre l'image 1 et l'image t. 

La deformation d'un triangle peut 6tre 6tudiee en considerant les 
parametres de mouvement du triangle de 1 vers t. Si (x,y) est la position d'un 
point en 1 et (x\y') la position du point en t, les parametres du mouvement affine 

10 sont tels : 

x' = ax + by + c 
y' = dx + ey + f 

Soit sous forme matricielle : * = A * + B , B traduisant les parametres 

ly J L>'_ 

de translation, et A les parametres de zoom et de rotation. La translation ne 
deformant pas le triangle, nous ne nous interesserons qu'a la matrice A. Soit D la 

, avec X { etA 2 les valeurs propres de A. 

Un test est d'abord effectue sur le rapport des valeurs propres pour savoir 
si la deformation est un zoom global, le rapport des valeurs propres peut etre 
calcule via la trace de A_ et le determinant de A. 

Dans le cas d'un zoom global (changement de resolution de meme 
grandeur en x et y), le triangle n'est pas consider comme deforme, car sa 
structure est la meme en t et en 1 a un facteur d'echelle pres. 

Dans le cas oCi le rapport des valeurs propres est different de 1, la 
deformation n'est pas la meme dans les deux sens. On etudie alors les valeurs 
propres de A. La resolution du trinSme x_-traceA_*x+(detA)_, x une des valeurs 
25 propres de A, nous donne les deux valeurs propres de A. Selon la valeur des 
valeurs propres, le triangle est consider degenere ou non. S'il est degenere, on le 

deconnecte du maillage. 

7 7 Estimation dp. mouvemen t haste, sur I 'annroche UllMglMe 



[A, 0 

15 matrice diagonale de A, D = 
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Afin d'am61iorer la convergence de 1'algorithme brevetSen Sept 98 (98 11 
227) concernant un procede d'estimation de mouvement entre deux images bas6 
sur un maillage hidrarchique emboit6, nous avons developpg une nouvelle 
technique issu du monde des math&natiques appliquees, appete muJtigrille. 

Pour ce faire, nous allons decrire Papproche multigrille associee aux 61ements 
finis. 

On cherche : 

ueV N , a(u, v) = L(v) 9 VveK,. (/) 

ob V N represente un espace vectoriel de dimension N , a(u,v) une forme bilin6aire 
sur V N x V N et L (v) une forme lineaire sur V N . 

A partir de chaque sous espace V M c V N de dimension M < N y on peut 

construire une m6thode de resolution & deux niveaux de la fa9on suivante : 

Etant donnee ueV N approximation de la solution exacte u, la correction 

c = u-u verifie done : 

• ceV N , a(c,v) = L(v)-a(u 9 v), VveV„, (II) 
On dfifinit une approximation c M de c par : 
c M ^V M vSrifiant a(c M ,w) = L(w)-a(u,w), VweV M (III) 

Examinons la representation matricielle de ces diffSrents problemes. 
Appelons <p,,l <i<N les fonctions de base de V N et 1 <j<M ceJles de V M 

Puisque O y e V M c V^, il existe done des coefficients r p tels que : 

Appelons R la matrice de L( < 3i N ,Si M ) dont les coefficients sont les r jt . 

Une fonction yeV u c V N qui s'ecrit y = 2^y*y s'6crit done encore : 

J 

ce qui definit Top^rateur de prolongement par : 

^/=S% soit jc = R'y 
J 

La solution u de (I) s'ecrit ^Uf<p t - 

i 

Appelons encore UE <R N y le vecteur de composantes i g . Si on definit la 
matrice A e L(SK") et le vecteur £ e ^ par : 
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aij = a(<Pj><Pi) et fy = L(<p t ) 
On sait que u est solution de : 
Au=b 

et c , solution de (II) verifie : 
5 Ac^b-Au 

On verifie que c KI solution de (HI) satisfait : 
(RAR')c M = R(b - Au) 

Cette fa?on systematique de definir des approximations dans V M pour des 
problemes pos6s dans J^permet de construire des fonctions, toutes d£finies sur le 

10 meme domaine a savoir celui correspondant au maillage fin meme si elles sont 
caract£ris6es par des param&tres attaches aux noeuds du maillage grossier. 

La figure 17 illustre cette approche sur un example, associant a un 
maillage fin 171 un maillage grossier correct 172 et un maillage grassier incorrect 
173. 

15 Afin de faciliter la comprehension de r algorithms nous allons resoudre Ie 

systeme Hd-F sur 2 grilles. 

On ecrit le systeme lineaire Hd = F sur la grille fine. 

Soit P Poperateur de prolongement de la grille grossiere sur la grille fine 

alors la methode a 2 grilles se formule de la fagon suivante : 

20 Ayant obtenu apres quelques iterations de Gauss Seidel (par exemple) une 

approximation d , on calcule Ie residu F — Hd . On cherche la correction y a 

ajouter k d sous la forme v = Pw , ou w est solution de : 
QHPw = Q{F - Hd) 

L'operateur sur la grille grossiere est done repr€sente par la matrice QHP. 
25 Remarquons que Q= P* est un operateur de restriction possible qui dans 

le cas ou H est une malrice symetrique definie positive, possede Tavantage de 
conduire a la matrice P t HP qui est une matrice symetrique definie positive 
P'HP est la restriction de la matrice H au sous espace vectoriel ImP). 

Cherchons h. determiner un op6rateur de prolongement P, Q = P 1 . 

30 Si P est Poperateur de prolongement bilin6aire sur un maillage r6gulier 
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defini par les formules : 

V H (/, k) si (/, k) e M grossier =M G 



(avec h le pas de discretisation du maillage fin et H celui du maillage grassier) 
alors P l est un multiple de l'op6rateur « moyenne ponder6e » avec : 
5 PV H U,k) = V k U 9 k)+ 0.5[W 1 ^)+L -+ VhUM] 
ou v repr6sente la valence de (j\ k) 

En prenant un operateur d'injection classique, on perd : 
Q = P* 

- Calcul des matrices nSduites J P^HP sur les grilles grossieres 
10 H resulte de la discretisation d'un probleme variationnel et fait intervenir 

en chaque point (v+1) valeurs de la fonction inconnue & savoir la valeur au point 
en question et celles aux v plus proches voisins. 

Nous appellerons V(o) Ie voisinage du point O et des ses v plus proches 
voisins. 

15 Prenons pour operateur de prolongement P de la grille grossiere sur la 

grille fine (IV), tel qu'illustre en figure 18. 

Soit i, Tindice d'un point G,de la grille grossiere et k Tindice d'un point 
F k de la grille fine alors les coefficients de la matrice P prendront les valeurs 
suivantes : 

20 

1 si G,. et F k sont confondus 
0.5 si G { et F k sont voisins sur la grille fine 
0 sinon 

La formule g6n6rale du produit des matrices permet d'ecrire pour 
B = P'HP : 

ki k;i 

Pour que B i} soit non nul, il faut qu'il existe au moins un indice he VQ) et 
un indice /eF(j)tels que H u *0, i.e. que k et 1 soieni voisins, tous les 
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voisinages etant pris sur la grille fine. 

II est facile de voir que B tJ ne peut etre non nul que si les points d'indices i 

et j sont voisins sur la grille grossidre. 

o Principe algorithmique simplifie (sur 2 grilles^ 

Au cours d'un cycle, on effectue les Stapes suivantes, en utilisant les 
grilles grossiere 191 et fine 192 illustrees en figure 19. 

L Effectuer quelques iterations de Gauss Seidel (par exemple) sur la 
grille fine 192 de pas h (en general 2 ou 3) ; 

ii. Calculer le residu sur la grille fine 192 ; 

iii. Restreindre ce residu sur la grille grossiere 191 de pas H=2h , 
restriction se faisant par rnoyenne ponderee ; 

iv. Resoudre le systeme sur la grille grossiere pour obtenir une 
approximation de la correction ; 

v. Interpoler cette correction sur la grille fine 192 pour corriger la 
solution approchee obtenue sur la grille fine 1 92. 

Si a la fin de cette etape, le residu sur la grille fine est trop grand, on 
recommence un autre cycle, en reprenant les operations au debut de la l* re etape. 
Pour resoudre le systeme d'6quations sur la grille grossiere, on peut de nouveau 
utiliser une methode a deux grilles. Nous utilisons dans ce cas une methode 

multigrilles. 

© Le principe du multi grille geometrique : 

Le multigrille geometrique utlilise Tapproche decrite ci-dessus, mais 
s'attache & ponderer les noeuds entre niveaux successifs par des poids tenant 
compte de la deformation geometrique du maillage. En effet, les poids utilises 
precedemment permettent de reconstruire un maillage fin a partir du maillage 
regulier de niveau inferieur. 

Cependant, quand le maillage est deforme, ces poids ne permettent pas de 
conserver la structure des maillages inferieurs. Pour conserver la structure des 
maillages inferieurs, on propose de modifier la ponderation utilisee sur les nceuds 
lors de la repercussion du deplacement d'un niveau & 1'autre, comme illustre en 
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figure 20, sur laquelle on a represents : I 

- 201 : deformations des noeuds du maillage grassier ; 
• 202 : deformations des noeuds du maillage fin ; 

- 203 deformation du maillage fin : 

o 2031 : deformation normale, (en pointings) ; 

o 2032 : deformation multigrille (en gras). 
Entre deux niveaux de hi6rarchie successifs, les noeuds du maillage fin 
peuvent etre repr£sentes par leur coordonn^es barycentriques par rapport au 
triangle de niveau grassier auxquels ils appartiennent On distingue alors deux 
types de noeuds au niveau du maillage fin : les noeuds fils directs de noeuds du 
niveau sup&ieur et les noeuds milieux d'aretes du niveau superieur. 

Les noeuds fils directs prennent directement la valeur de leur pere. Pour 
l'autre type de noeuds, quatre noeuds peuvent potentiellement intervenir dans la 
combinaison lin^aire de la valeur du nceud : les quatre noeuds des deux triangles 
contenant TarSte du niveau superieur. Si le noeud est sur l'arete alors seuls les 
deux noeuds aux extremites de l'arete interviennent, les poids barycentriques des 
deux autres noeuds des deux triangles contenant l'arete sont nuls. Si le noeud n'est 
pas sur l'arete, les noeuds qui interviennent sont les trois noeuds du triangle du 
niveau superieur auquel appartient le noeud du niveau fin. 

La matrice de passage entre deux niveaux successifs est alors tres creuse. 
II est alors possible de definir la matrice de passage entre deux niveaux non 
cons6cutifs par: H' l - k .=H l i-xH l - x i-i...H l - M ) - k > oii h'h est la matrice de 
passage entre deux niveaux consdcutifs. 

• Complements : 

Une explication plus detaillee, et des propositions d'am&ioration de cette 
technique multigrille sont presentees en Annexe 4. 

£12 — Suivi de mailla^es - realisa tion de mosaiques dvnamiguex 
d'objefs video 

• Suivi de maillages 

La technique d'estimation du mouvement pnSsentg dans la section 
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precedente permet d'estimer le mouvement entre deux images successives. Le 
suivi du maillage au cours du temps consiste alors a estimer le mouvement entre 
1' image t oil 1'on dispose de la position du maillage suivi, et 1' image t+1. 
L'utilisation d'une technique d'estimation multi-grille est alors primordiale dans 
5 cette phase, puisque le maillage sur Pimage t est un maillage deformd, et que 
l'estimation classique hierarchique a base de maillages reguliers pent tres 
rapidement decrocher. 

L'algorithme de suivi propose est presente sur la figure 28. 
L'estimation du mouvement se fait en deux temps. Tout d'abord entre 
10 l'image t et t+1, puis un raffinement est effectue" entre l'image t+1 et l'image 
initiale de la sequence traitee. Les images de ref6rence peuvent etre filtrees afin de 
prendre de limiter le bruit, mais aussi de prendre en compte les variations 
temporelles de texture (cf . mosaiques dynamiques decrites ci-apres). 

L'utilisation d'images filtrees est utilise© notamment pour la creation de 
15 mosaiques d'objet video ou il est preferable d'utiliser la texture de la mosaique. a 
l'instant t plutot que la texture de l'image originale a 1'instant t. La phase de 
raffinement de mouvement entre l'image initiale et l'image a l'instant t+1 est 
realisee dans le but d'optimiser le rendu des images lors d'une compensation 
d'images de type 1 vers t comme utilise pour le schema de codage video propose. 
20 o Creation de- mosaYqueR dynamiques d'objets videos 

Grace au suivi du maillage au cours du temps, et a l'utilisation de masque 
support (des objets videos suivis, voire plus simplement de l'image dans le cas 
d'une sequence mono-objet), on peut creer une mosaVque de 1'objet suivi. Cette 
mosaique concatene l'information de texture observee au cours du temps, et 
25 permet ainsi de combler les zones de decouvrement observers. 

Le principe de construction de ces mosaiques est explicite sur la figure 29. 
Par rapport a des approches de reconstruction d'images mosaiques 
classique, la technique proposee permet de gerer des objets deformables, el 
evoluant au cours du temps, tout en n'etant pas limite par des contraintes usuelles 
30 (objets eloignes de la camera pour avoir 1'hypothese d'une profondeur relative 



49 



faible, mouvement de camera limite a des mouvements de type I'pan and tilt",...). 
Ceci est realise grSce k la substitution dans la technique de creation de mosaiques, 
de l'outil de compensation du mouvement global (mouvement affine, 
panoramique, homographique,...) par l'outil de compensation en mouvement par 
maillage hierarchique. 

La representation du mouvement hierarchique utilis^e et son lien etroit 
avec une representation ondelette (cf. [IvIarquant-2000]), permet de pouvoir 
etendre le mouvement au dclh du support d'estimation. 

LMmage mosaique crede est mise k jour progressivement au cours du 
temps & partir des valeurs observes dans les images. On distingue la mise. a jour, 
pour les zones nouvelles de celle pour ]es zones d6]k presentes dans la mosai'que : 

M(x i y > t) = * r ^ X + *** y + dy **} si ^ on dans une zone non initialisee 

[M(x t yj-l)+a[l(x,y 9 t)-M(x,y 9 t--i)] si Ton est dans unezonedeja initialisee 

~\ 

i. 

Le parametre a peimet de contrSIer le filtrage effectue sur les variations 
temporelles de la mosaique. Une valeur de 0 correspond a une mosai'que fixe. Une 
valeur de 1 correspond a un non filtrage des valeurs observers. Une valeur 
interm<Sdiaire permet de realiser un filtrage de Kalman temporel des valeurs 
observees. 

Ce filtrage peut Stre utile pour debruiter le signal video ou bien diminuer 
1'ordre de grandeur des hautes frequences temporelles pr6sentes dans 
reformation a coder (cf. codage de la mosaique dynamique par 1' intermediate 
d'une approche ondelettes 3D). 

Une fois cette analyse effectuee, les mosaiques sont ensuite compl&ees. 
Tout d'abord on propage du futur vers le passe" les valeurs obtenues aux diff6rents 
instants, en ne propageant que sur les sites n'ayant pas encore de valeurs d6finies. 
Enfin, un padding est realist afin de completer les zones non-d6finies (zones pour 
lesquelles aucune observation n'a pu Stre realisee). 

6.13 Aspects complimentaires de I'invention ' 

Comme deja mentionn<§, I'invention concerne le proc&te de codage, le 



50 



procede de decodage et les signaux correspondants, mais 6galement les aspects 

suivants : 

o dispositif de codage 

Un tel dispositif de codage comprend des moyens de codage par ondelettes 
5 applique sur des images de difference, dites residus, obtenues par comparaison 
entre une image de source et une image estimee correspondante. 
o dis positif de decodage 

Un tel dispositif de decodage comprend avantageusement : 
0 des moyens de decodage du mouvement, en tenant compte d'au moins 
10 certains desdits residus relatifs au mouvement, pour former des images 

de mouvement ; 

© des moyens de decodage de la texture, en tenant compte d'au moins 
certains desdits r6sidus relatifs a la texture, pour former des images de 
texture ; 

15 o des moyens de synthese d'une sequence d' images decodees, 

correspondant h ladite sequence d' images source, par projection 
desdites images de texture sur lesdites images de mouvement. 
© serveur de donnees 

Un tel serveur de donn6es, stockant et pouvant transmettre vers au moins 
20 un terminal au moins un signal representatif d'une sequence d'images source et 
obtenu par un mettant en oeuvre une decomposition mouvement/texture, 
produisant, pour au moins certaines desdites images source, des informations 
representatives du mouvement, dites images de mouvement, et des informations 
representatives de la texture, dites images de texture, et un codage par ondelettes, 
25 comprend des donnees num£riques representatives d'un codage par ondelettes 
applique sur des images de difference, diles residus, obtenues par comparaison 
entre une image de source et une image estimee correspondante. 
© support de donnees 

Un tel support de donnees numerique, pouvant Stre lu par un terminal, 
30 porte au moins un signal reprdsentatif d'une sequence d' images source et obtenu 
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par un mettant en ceuvre une decomposition mouvement/texture* produisant, pour 
au moins certaines desdites images source, des informations representatives du 
mouvement, dites images de mouvement, et des informations representatives de la 
texture, dites images de texture, et un codage par ondelettes. II comprend des 
5 donndes numeriques representatives d'un codage par ondelettes applique sur des 
images de difference, dites residus, obtenues par comparaison entre une image de 
source et une image estimee correspondante. 

- programme d'ordinateu r de codage 

Un tel programme d'ordinateur comprend des instructions pour mettre en 
10 ceuvre un codage d'une sequence d'images source, mettant en oeuvre une 
decomposition mouvement/texture, produisant, pour au moins certaines desdites 
images source, des informations representatives du mouvement, dites images de 
mouvement, et des informations representatives de la texture, dites images de 
texture, et un codage par ondelettes. II comprend notamment des moyens de. 
15 codage par ondelettes applique sur des images de difference, dites residus, 
obtenues par comparaison entre une image de source et une image estimee 
correspondante. 

- programme d'ordinateu r de decodag e 

Un tel programme d'ordinateur comprend des instructions pour mettre en 
20 ceuvre un decodage d'une sequence d'images source, codee par un codage mettant 
en ceuvre une decomposition mouvement/texture, produisant, pour au moins 
certaines desdites images source, des informations representatives du mouvement, 
dites images de mouvement, et des informations representatives de la texture, 
dites images de texture, et un codage par ondelettes. Ledit codage par ondelettes 
25 etant applique sur des images de difference, dites residus, obtenues par 
comparaison entre une image de source et une image estimee correspondante, il 
comprend : 

- des moyens de decodage du mouvement, en tenant compte d'au 
moins certains desdits residus relatifs au mouvement, pour former 
30 des images de mouvement ; 
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- des moyens de decodage de la texture, en tenant compte d'au 
moins certains desdits residus relatifs a la texture, pour former des 
images de texture ; 
des moyens de synthase d'une sequence d' images decodees, correspondant 
a ladite sequence dMmages source, par projection desdites images de texture sur 
lesdites images de mouvement. 
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ANNEXE 1 : Filtres utilises 

L Filtre d'Antonint : 7/9 Filter from M. Antonini, M. Barlaud, P. 

Mathieu, and I. Daubechies, "Image coding using wavelet transform", IEEE 

Transactions on Image Processing", Vol. pp. 205-220, 1992. 

AntoniniSynthesis = { -6.453888262893856e-02, 

-4.068941 760955*867e-02, 

4.180922732222124e-01, 

7.884856164056651e-01, 

4.180922732222124e-01, 

-4.068941760955867e-02, 

-6.453888262893856e-02 }; 

AntoniniAnalysis = { 3.782845550699535e-02, 

-2.384946501937986e-02, 

-1 . 1062440441 84226e-0 1 , 

3.774028556126536e-01i 

8.526986790094022e-01 , 

3. 774028556 126537e-01, 

-1 . 106244044 1 84226e-01 , 

-2.384946501 937986e-02, 

3.782845550699535e-02 }; 

2u Filtre 5/3 : Cohen Daubechies Feauveau bi orthogonal (2.2) 

Analyse=-^(l + z - 4 ) + 7 ^( 2 - + ^ ) + _^ z - 2 

Synthese=^(l + z- 2 )-^ z -' 

i Filtre 5/3 e n version lifting : 

EtapeP=-J-(i + z - ] ) 
EtapeU= -f(z + l) 

Mise a echelle sur pair : S = -J2 
Mise a echelle sur impair : S = ^ 
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Annexe 2 : Principe du lifting 

La transformation d'un signal par un banc de filtres peut se faire dans deux 
versions differentes : soit une version convolutive, soit une version lifting. La 
version convolutive est la plus connue et la plus couteuse en cout de calcul et 
5 erreurs d'arrondis. Pour la transformation ondelette d'un signal ID s(t) par deux 
filtres passe-haut H el passe-bas L, la transform^ ondelette convolutive est la 
suivante : 

k 

k 

10 avec bf les basses frequences et hf les hautes frequences. 

Les basses et hautes frequences sont ensuite decimees par deux pour 
garder les memes nombres d' information que dans le signal initial. La figure 22 
montre la decomposition d'un signal X en basses et hautes frequences a Taide de 
filtres passe-haut 221 et passe-bas 222, puis la decimation par deux 223, 224. 

15 La deuxieme moitie de la figure montre la reconstruction du signal : 

expansion des signaux bas 225 et haut 226 par deux (en intercalant des z6ros entre 
chaque valeur) et filtrage avec les filtres de synthese 227 et 228, puis 
recombinaison 229. 

La version lifting decompose le signal en composantes basses et hautes 

20 frequences comme la version convolutive, mais son schema a Favantage de gerer 
les erreurs d'arrondis et d'avoir un coflt de calcul moindre. En lifting (voir 
figure 21), le signal a transformer est d'abord separ6 en deux par Foperateur 
SPLIT 21 1 pour obtenir Xeven et Xodd. 

En fait, Xeven contient les echantillons du signal d'indice pairs et Xodd 

25 les impairs. 

Ensuite, Toperateur P 212 predit le signal impair par le signal pair: 
Xodd = Xeven , la prediction Xodd est otee a Xodd, le signal resultant est la 
composante haute frequence du signal. Le signal paire est ensuite mis h jour par 
Top6rateur U 213. le signal resultant est la composante basse frequence du signal. 
30 Une 6tape de lifiting est constitute de deux filtrages P et U. Une transformee 
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ondelette est une succession d'6tapes de lifting appliqu6e h. chaque fois sur le 
signal mis & jour. 

L'inversion du schema lifting est simple et rapide : il suffit d'inverser les 
additions par des soustractions, les operateurs P et U ne changent pas. La version 
5 lifting d'un filtre convolutif peut-etre calculee par division euclidienne des filtres 
convolutifs, mais des filtres de lifting peuvent etre crees sans avoir d'dquivalent 
en filtre convolutif. Dans notre codeur, les seuls filtres utilises en lifting sont des 
filtres d6]k existants en convolutif, la construction du schema lifting a partir de 
filtres convolutifs existants est la suivante : 
10 On considere l'analyse et la synthese d'un signal X par une transform^ 

ondelette selon la figure 22. Les basses frequences Bf sont obtenues par filtrage 
du signal X avec le filtre passe-bas h , puis decimation du signal filtre, les hautes 
frequences Hf par filtrage avec g et decimation. La reconstruction du signal est 

effectu6e par filtrage avec les filtres g et h, on obtient le signal reconstruit Xr. 

15 Nous allons developper plus explicitement le calcul des basses frequences 

Bf a 1'aide du filtre h : 

Bf 0 = x 0 *H 0 +x i *H ] + x 2 *H 2 +x 3 *H 3 +... 

Bf =x } *H 0 +x 2 *H } +x 3 *H 2 +x 4 * H 3 +... 

Bf 2 =x 2 *H Q +x 3 *H, +x 4 *H 2 +x 5 *H 3 +... 

Bf, = x 3 * H o + x A * £, + x 5 * H 2 + x 6 * H 3 + . . . 

Apres filtrage du signal X par le passe-bas, nous decimons les coefficients 

transformes, les coefficients restant sont : 

Qfo =*o *-^o+- v i *H x +x 2 *H 2 +x 3 *H 3 +... 
Bf 2 =x 2 *H 0 +x 3 *H } +x A *H 2 +x 5 *H 3 +... 

On remarque Ton peut r6ecrire le calcul des coefficients basses frequences 

sous une forme polyphase, on separe les coefficients d'indice pair et impair: 
Bf — K x e + K x o , xe et xo les coefficients du signal d'indice pair et impair. 

De la m€me maniere, on obtient les hautes frequences, ainsi que le signal 
25 reconstruit. Les equations de l'analyse et de la synthese sont alors: 
- Analyse 
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Hf = ge X c + 8o X o' 

- Synthase 
Xre=he(Bf)+ge(Hf) 
Xro=ho(BO+go(Hf) 
On peut ainsi definir deux matrices polyphases duales pour 1'analyse et la 
synthase du signal P et P: 



p = 


K K 


et P = 








_&e So _ 


A 


So. 



La figure 23 illustre la transformee ondelette correspondant h celle d6finie 
pr6c6demment avec les matrices polyphases. On montre que Ton peut factoriser 



Psous la forme; 



P = 



0 



o Ti uT l o' 

1//CI0 ll-p 1. 



La figure 17 montre un etage de lifting et un etage de lifting dual. La 
transform6e ondelette est une succession de ces etages. La transform^ inverse du 
lifting s'obtient facilement en rempla§ant les additions par des soustractions. 
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Annexe 3 : Algorithme 1 : projection de I'image k sur Pimage i 

Entries de 1 'algorithme: 

Mask(i) = masque de definition de 1 'image i, indique quels pixels 
5 de 1 'image i sont d^finis 

Mask(k) = masque de definition de I 'image k 
mi = positions du maillage de 1 'image i 
mk = positions du maillage de 1 'image k 
Sorties de T algorithme : 
10 I r = 1 'image a reconstruire, 1 'image k projetee sur 1 'image i 

MaskPrediction = masque de definition de 1 'image a reconstruire I r 

Pour tout pixel (Xj >r ,yj>) de I r , 

si (Xj, r ,yj,r) defini dans Mask(i) 
15 determiner t le triangle de m t contenant (Xj f r,yj,r) ; 

calculer ies poids wi,«, w 2 ,tb w 3 , t i de (Xj>,y j)r ) associes aux 
noeuds de t ; 

determiner la nouvelle position de (x j>r ,yj,r) dans m k par: 

Xj.mk^ Wi >ti * Xi >m k+ W 2 ,ti* X 2> mk+ W 3|t j* X 3>mk OU Xi, m k, X 2>m k, 

20 X3,mk sont les positions en x de noeuds de t ; 

yj,mk= wj >ti * y Jtmk + w 2 ,ij* y 2 ,mk+ w 3 , ti * y 3 , mk ; 
si (Xj, mk ,yj,mk) defini dans Mask(k) 

calculer luminance de (xj, mk ,yj,mk) par 
interpolation bilineaire ; 
25 MaskPrediction(xj >r ,yj,r) = vrai ; 

finsi 

sinon MaskPrediction(xj jr ,y j>r ) = faux ; 

finsi 

30 sinon MaskPrediction(x j>r> yj, r ) = faux ; 

finpour 
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A ; Estimati on multi-grille 

I. Principe general 

Lors de la phase de suivi du maillage au cours du temps, apparatt le 
5 probleme que les maillages sur lesquels est estime le mouvement, ne sont plus des 
maillages reguliers hierarchiques. L'estimation hierarchique du mouvement 
devient alors non aisee. Dans [Marquant-2000], une technique etait ainsi proposee 
pour pouvoir estimer le mouvement avec des maillages hierarchiques, en 
propageant l'estimation du mouvement effectue sur des triangles reguliers d'un 
10 niveau de hierarchie donne sur le niveau plus fin suivant (cf. figure 24). Cette 
approche peut alors devenir rapidement sous-optimale dans le cas de deformations 
prononcees du maillage, ou le mouvement estime sur de grands triangles peut etre 
assez different du mouvement reel de la structure deformee (le support 
d'estimation du grand triangle est en effet diff6rent du support des mailles sensees 
15 constituees ce triangle). 

Afin de resoudre ce probleme, une technique de minimisation de type 
multi-grilles a alors 6t6 mise en place. Cette technique repose sur la recherche 
d'une deformation du maillage definie par Tintermediaire d'un jeu de parametres 
reduit. Pour se faire, on tire profit de la structure hierarchique du maillage. 
20 On note *' le deplacement associe au noeud indice i, au niveau de 

hierarchie de maillage 1. Un jeu reduit de parametres pour obtenir un champ de 
deformation au niveau hierarchique 1, peut alors etre obtenu a partir du champ de 
deformation du niveau 1-1 : le deplacement J est repercute sur les nceuds 
indict i du niveau 1 comme suit (cf. egalement la figure 25 pour le cas d'un 

25 maillage quadrangulaire) : 

' dp 1 -* si le noeud i est le fils direct du noeud j 

1 dp 1 ' 1 si le noeud i est situ6 au milieu d' un arc au contact du noeud j 

.2 J 

Cette relation entre les deplacements des niveaux 1 et 1-1 peut alors s'ecrire 
sous forme matricielle : [dp\} = H\_\dp l J% et de facon generale, en appliquant 
successivement cette formule : [dpi] = H',_ k [dp l J k ] avec 
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Zjl _ rrl rjl-k+l 

ti t _ k «/_ 2 «■"/-* . si Ton utilise la deformation optimale de ce type 

minimisant Terreur de prediction, on peut alors montrer que le systeme definissant 
les deplacements optimaux se transforme de la formule generate au niveau I : 
A l [Mp\] = B l en le systeme : (' H^A 1 .H^Adp 1 ^] = [ l H\_ k JB l ). 

Cette estimation multi-grille est alors utilisee dans le schema d'estimation 
hierarchique du mouvement en estimant le mouvement non plus sur une maillage 
de moindre finesse, mais h Taide des deplacements des nceuds de ces maillages 
plus grossiers. 

2. Multi-grille geometrique 

Dans Tapproche presentee precedemment, on peut remarquer que les . 
ponderations entre les nceuds de niveaux de hierarchies successives (1 et 0.5) sont 
quelques peu empiriques. En fait, ces poids sont les poids & appliquer sur un 
maillage r6gulier afin de conserver la structure reguliere du maillage de niveau 
inferieur. Toutefois, lorsque le maillage est d6forme, 1'utilisation de cette 
ponderation ne garantit pas de conserver la structure des maillages inf&rieurs. 
Ainsi sur la figure 26, dans le cas d'un zoom global, la structure du maillage n'est 
plus conservee (la deformation appliquee sur le maillage de niveau inferieur ne 
correspond pas k un zoom global). 

Afin de remddier a ce probl^me, nous proposons done de modifier la 
ponderation utilisee sur les nceuds lors de la repercussion du displacement d'un 
niveau & 1'autre. En observant qu'entre deux niveaux de hterarchie de maillage 
successifs, les nceuds du maillage fin peuvent s'exprimer comme une combinaison 
lin6aire des nceuds du niveau hierarchique superieur (utilisation d'une 
representation barycentrique pour chaque nceud par rapport au triangle de niveau 
grassier contenant ce nceud), on va alors utiliser cette proprtete pour la repercution 
du deplacement des nceuds. 

Au niveau du maillage fin, on peut distinguer deux types de nceuds ; les 
nceuds fils directs de nceuds du niveau superieur, et les nceuds fils d'une arete du 
niveau superieur. Pour le premier type de nceud, on a alors oine repercussion 
directe, et un seul nceud intervient alors. Pour le deuxieme type de noeud, dans la 
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formule de ponderation, potentiellement quatre noeuds peuvent intervenir (les 
nceuds des deux triangles de part et d* autre de l'arete). On utilise alors les deux 
noeuds extremes de l'ar&e ainsi que le noeud supplemental du triangle du 
niveau superieur contenant le nceud. Dans le cas, ou le noeud fils est situe sur 
1'arrete, uniquement les nceuds extremites de l'arete sont utilises (la coordonnee 
barycentrique sur les autres noeuds etant nulle). La matrice resultante h\_ x est 

toujours alors ties creuse (pas plus de 3 valeurs non nulle par ligne). Afin 
d'obtenir la matrice de passage entre des niveaux de hierarchies non consecutifs, 
on utilise alors la formule de composition precedente : H\_ k = h\_ x h\z\ ... #/r£ +1 • 
3. Robustification de Talgorithme d'estimation du mouvement 
L'algorithme d'estimation du mouvement repose sur une minimisation 
differentielle du mouvement. et peut etre rapidement perturb6 par le bruit de 
calcul. Aussi est-il necessaire de robustifier l'algorithme d'estimation, notamment 
au niveau de la resolution du systeme d'equation a resoudre pour trouver les 
increments de deplacements [Af/p;]. La solution proposee dans [Lechat-1999] est 
alors d'utiliser une technique de Levenberg-Marquardt afin de reconditionner le 
systeme iin6aire a resoudre. Cette technique consiste a augmenter dans le systeme 
AJC=B, la diagonale de la matrice A tant que Ton n' observe pas de diminution 
de la fonctionnelle a minimiser. Cette augmentation de la diagonale se fait sur 
toutes les lignes de la matrice, et a pour consequence de freiner alors le 
deplacement de tous les noeuds et non uniquement des noeuds a probteme. 

Plusieurs modifications ont et6 alors testees afin de limiter ce phenomene, 
et de limiter d' autres derives, en proposant des augmentations des termes 
diagonaux de la matrice A de fagon limits et bien adaptee : 

3. 1 Reconditionnement pour limiter le emplacement des nceuds 
De par Putilisation d'une technique de minimisation differentielle, les 
increments de deplacements trouves doivent etre Iimit6 (typiquement de I'ordre de 
1 pixel a la resolution trait€e). Aussi Iors de la resolution du sysleme AX=B, un 
contrdle est effectue afin de s' assurer que toutes les composantes sont bien 
infeneures au deplacement maximal tol6re. Dans le cas contraire, une 
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augmentation du terme diagonal de la matrice A rattache h la ligne dudit 
coefficient est realise. Cette augmentation est r6alisee de fa?on similaire a la 
technique de Levenberg Marquard : A*h=4+x)Ai , et ceci autant de fois quMl soit 
n£cessaire afin de respecter la contrainte. 
5 3.2 Reconditionnement par rapport au probleme d'ouverture 

Dans le cadre de Testimation du mouvement, le probleme d'ouverture est 
un probleme frequemment rencontr6. Ce probleme est lie au fait que de par 
Torientation privitegie du gradient de texture, Tinformation de mouvement locale 
ne peut etre definie de fa$on fiable que dans une seule direction (i.e. la direction 

10 du gradient). Dans le cas de Testimation sur un maillage, ce probleme est limite 
(car Tinfluence d'un nceud porte sur les pixels contenus dans les triangles au 
contact de ce nceud), toutefois il apparait dans des zones ayant une orientation de 
texture marquee (comme par exemple au niveau de frontieres entre deux zones 
faiblement textur6es oii Ton peut alors observer un glissement des mailles le long 

15 des contours). 

Ce phenomene peut s'expliquer plus clairement au niveau de la resolution 

du systeme A.X=B. De par sa nature, ce systeme n'est pas & diagonale dominante, 

et peut avoir un grand nombre de solutions « admissibles ». Ainsi la technique du 
gradient conjugue peut trouver des solutions telles que ||^^~"^|| soit faible. Or, 

20 ceci peut engendrer un grand nombre de solution si la matrice A possede des 
valeurs propres faibles (comme cela peut etre le cas pour le probleme classique de 
Touverture). 

L'approche proposee consiste alors, pour chaque noeud, & identifier la 

sensibilite de ces noeuds par rapport a un bruit sur le vecteur de deplacement 
25 optimal. On peut ainsi observer que la norme du bruit sur ||^^""^|| k un bruit 

de d€placement sur (dxi,dyi) y peut s'exprimer comme une forme quadratique (en 
ne considerant que ce bruit) : Aa*d£+2M#.dn.dyt+A*#.dy? . Le terme 
correspondant a la norme La. au carr€ de la ligne de coefficients associee \ 
Pinconnu dx (idem pour le terme le terme Ax y correspondant au produit 
30 scalaire entre les lignes de la matrice A rattachSes aux inconnues cbo et dyi . Une 
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rotation de repere peut alors etre effectuee sur (cka,dy,) afin d' avoir une forme 
quadratique de la forme A y »s,Mii?+A x w.dv? . fa et fa representent alors la 
sensibilite du systeme pour certaines directions de d6placement du nceud 
considere (une valeur faible indique que le systeme est mal conditions* sur la 
variable associee, une valeur forte indique un bon conditionnement). Afin de 
robustifier Palgorithme, on procede alors, suite a un changement de variable sur le 
systeme (rotation pour chaque noeud), & une augmentation de la diagonale la plus 
faible sur chaque noeud afin d' avoir des valeurs de fa et fa de mSme ordre de 
grandeur. 

33 Reconditionnement par rapport a un gradient minimal de texture 

Une autre source de mauvais conditionnement de la matrice A, porte sur la 
presence de zones ou le gradient de 1'image est faible. Pour cela, on introduit alors 
la notion de gradient minimal moyen. En regardant r expression des coefficients 
de la matrice A, on peut observer que les termes diagonaux s'expriment sous la 
forme d'une somme pond6ree de gradients. En calculant alors un systeme 
normalise A*™ , ou Ton omet dans la formule les termes de gradients d'images. Le 
reconditionnement est alors effectu6 en imposant que Ton ait : Af>V/minJk™ n ]^ - 

Experimentalement, on peut observer qu'une valeur de 10 pour ce terme 
de gradient minimal donne en general de bons resultats n'engendrant pas un 
lissage excessif (cet effet de lissage est du h un lissage par rapport a un 
mouvement global calcule sur une hi6rarchie de maillage plus grossiere). 

3.4 Reconditionnement par rapport au support d' estimation 

LMntroduction d'un support d'estimation Q dans la phase d'estimation de 
mouvement induit 6galement des problemes de conditionnement pour le systeme 
lineaire a rdsoudre. Par exemple, sur la figure 27, on peut observer que le noeud 
Mest un noeud qui peut 6tre mal conditionne car son influence sur les points au 
sein du triangle N\NiNi est limite (et done un grand d^placement peut etre io\6r6 
sur ce noeud). Afin alors de limiter ce probl&me, on introduit une notion de lissage 
sur les nceuds. Toutefois, Pintroduction d'un lissage peut limiter la qualite de 
Testimateur de mouvement. Aussi le lissage sur les noeuds n'est-il effectue que 



63 



sur les nceuds ayant des supports d'estimation non complet. 

On ajoute alors entre deux nceuds voisins i et j, une Snergie de lissage de la 
forme : pi . A^juii et Ao^a representent les 

systemes d'dquations « normalises » (i.e. sans T utilisation du terme de gradient de 
l'image) respectivement avec un masque complet, et avec le masque . ju est !e 

terme de ponderation permettant de controler la force du lissage ; un bon ordre de 
grandeur pour ce terme est de prendre la valeur du gradient minimal de texture 
utilise pr^cedemment. 

II est & noter que ces differentes operations de reconditionnement peuvent 
etre effectuees sur les diff6rents systemes lineaires & r6soudre. L'utilisation de 
ponddration utilisant les matrices normalisees, permet de limiter le reglage des 
parametres introduit en prenant en compte automatiquement les problemes de 
changement de resolution, et de taille de triangle variable. Enfin, le schema 
propose par Levenberg-Marquardt est utilise suite k ces divers reconditionnements 
uniquement si Ton n'observe pas une diminution de la fonctionnelle a minimises 
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RE VEND3 CATIONS 

1. Proceed de codage d'une sequence damages source, mettant en ceuvre une 
decomposition mouvement/texture, produisant, pour au moins certaines desdites 

5 images source, des informations representatives du mouvement, dites images de 
mouvement, et des informations representatives de la texture, dites images de 
texture, et un codage par ondelettes, 

caracterise en ce que ledit codage par ondelettes est applique sur des images de 
difference, dites residus, obtenues par comparaison entre une image de 
10 mouvement, respectivement de texture, et une image estimee correspondante. 

2. Procede de codage selon la revendication 1, caracterise en ce que ladite 
comparaison met en oeuvre une difference avec une image interpolee h partir d'au 
moins la premiere et/ou de la derniere image de ladite sequence. 

3. Proced6 de codage selon Tune quelconque des revendications 1 et 2, 
15 caracterise en ce qu'on effectue un codage temporel de ladite texture, redressee 

par ledit mouvement prealablement code selon Taxe temporel, a Taide d'un 
codage par ondelettes. 

4* Procede de codage selon Tune quelconque des revendications 1 a 3, 
caract6ris6 en ce quMl comprend un codage de la texture comprenant un codage 
20 temporel par ondelettes suivi d'un codage spatial par ondelettes. 

5. Proced6 de codage selon Tune quelconque des revendications 1 a 4, 
caracterise en ce qu'il comprend un codage du mouvement prenant en compte un 
maillage. 

6. Procede selon la revendication 5, caracterise en ce que ledit maillage est 
25 un maillage hi6rarchique, 

7. Proc6de de codage selon Tune quelconque des revendications 1 a 6, 
caracterise en ce qu'il comprend un codage du mouvement comprenant un codage 
temporel par ondelettes suivi d'un codage spatial par ondelettes. 

8. Procede de codage selon Tune quelconque des revendications 1 a 7, 
30 caract6ris£ en ce que lesdites images source sont regroup^es par blocs d' images 



64 



MEVENDICATIONS 

1. Proc6d6 de codage d'une sequence d'images source, mettant en oeuvre une 
decomposition mouvement/texture, produisant, pour au raoins certaines desdites 

5 images source, des informations representatives du mouvement, dites images de 
mouvement, et des informations representatives de la texture, dites images de 
texture, et un codage par ondelettes, 

caracteris6 en ce que ledit codage par ondelettes est applique sur des images de 
difference, dites r6sidus, obtenues par comparaison entre une image de 
10 mouvement, respectivement de texture, et une image estim^e correspondante. 

2. Proced6 de codage selon la revendication 1, caracteris6 en ce que ladite 
comparaison met en oeuvre une difference avec une image interpolee a partir d'au 
moins la premiere et/ou de la derni&re image de ladite sequence. 

3. Procedg de codage selon Time quelconque des revendications 1 et 2, 
15 caracteiis6 en ce qu'on effectue un codage temporel de ladite texture, redress6e 

par ledit mouvement pr&dablement code selon l'axe temporel, a l'aide d'un 
codage par ondelettes. 

4. Proc6de de codage selon Tune quelconque des revendications 1 k 3, 
caracterise en ce qu'il comprend un codage de la texture comprenant un codage 

20 temporel par ondelettes suivi d'un codage spatial par ondelettes. 

5. Proc£de de codage selon Tune quelconque des revendications 1 h 4, 
caracterise en ce qu'il comprend un codage du mouvement prenant en compte un 
maillage. 

6. Proc6de selon la revendication 5, caract6ris£ en ce que ledit maillage est 
25 un maillage hierarchique. 

7. Proc6d6 de codage selon Tune quelconque des revendications 1 & 6, 
caract6ris6 en ce qu'il comprend un codage du mouvement comprenant un codage 
temporel par ondelettes suivi d'un codage spatial par ondelettes. 

8. Proc6d6 de codage selon Tune quelconque des revendications 1 & 7, 
30 caract6ris6 en ce que lesdites images source sont regroup6es par blocs d'images 
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comprenant un nombre variable (N) d'images source. 

9. Procede de codage selon la revendication 8, caracterise en ce que deux 
blocs d'images success! fs comprennent au moins une image commune. 

10. Precede de codage selon la revendication 9, caracterise en ce que la 
5 premiere image d'un bloc damages n'est pas codee, celle-ci etant identique a la 

derniere image du bloc d'images precedent. 

11. Procede de codage selon Tune quelconque des revendications 1 a 10, 
caracterise en ce que, dans chacun desdits blocs d'images, on estime le 
mouvement de toutes les images d'un bloc d'images a partir de la premiere image 

10 dudit bloc. 

12. Procede de codage selon Tune quelconque des revendications 1 a 11, 
caracterise en ce qu'on met en oeuvre une etape de compensation de mouvement 
par rapport a au moins une grille de reference. 

13. Procede de codage selon la revendication 12, caracterise en ce que ladite 
15 etape de compensation utilise deux grilles de reference representant 

respectivement la premiere et la derniere images du bloc consider^. 

14. Proc6de de codage selon la revendication 13, caracterise en ce que, pour 
un bloc de N images, les images de 1 a (N+l)/2 sent plaqu6es sur la grille de 
reference representant la premiere image et les images de (N+1Y2 +1 a N sont 

20 plaquees sur la grille de reference representant la derniere image. 

15. Procede de codage selon Tune quelconque des revendications 1 h 14, 
caracterise en ce qu'il comprend un codage du mouvement mettant en ceuvre une 
estimation de mouvement multi-resolution, selon laquelle le mouvement est 
estime sur au moins deux niveaux de resolution d' image. 

25 16. Procede de codage selon les revendications 6 et 15, caracterise en ce que 
Testimation de mouvement est effectuee sur au moins deux niveaux dudit 
maillage hierarchique. 

17. Procede de codage selon Tune quelconque des revendications 1 a 16, 
caracterise en ce qu'il comprend une etape de projection d'une image sur au 
30 moins une grille de reference, correspondant ii une grille d'echantillonnage definie 
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comprenant un nombre variable (N) d'images source. 

9. Procede de codage selon la revendication 8, caractdris£ en ce que deux 
blocs d'images. successifs comprennent au moins une image commune. 

10. Proc6de de codage selon la revendication 9, caracterise en ce que la 
5 premi&re image d'un bloc d'images n'est pas codee, celle-ci etant identique & la 

derniere image du bloc damages precedent. 

11. Procede de codage selon Tune quelconque des revendications 1 a 10, 
caract6ris£ en ce que, dans chacun desdits blocs d'images, on estime le 
mouvement de toutes les images d'un bloc d'images a partir de la premiere image 

10 duditbloc. 

12. Proc6de de codage selon Tune quelconque des revendications 1 a 11, 
caracterise en ce qu'on met en oeuvre une 6tape de compensation de mouvement 
par rapport a au moins une grille de reference. 

13. Proced6 de codage selon la revendication 12, caracterise en ce que ladite 
15 etape de compensation utilise deux grilles de reference reprSsentant 

respectivement la premiere et la derniere images du bloc consid6re. 

14. Procede de codage selon la revendication 13, caracterisS en ce que, pour 
un bloc de N images, les images de 1 a (N+l)/2 sont plaqu6es sur la grille de 
reference representant la premiere image et les images de (N+l)/2 +HN sont 

20 plaquees sur la grille de reference representant la derniere image. 

15. Procede de codage selon Tune quelconque des revendications 1 a 14, 
caract6ris6 en ce qu'il comprend un codage du mouvement mettant en oeuvre une 
estimation de mouvement multi-resolution, selon laquelle le mouvement est 
estim£ sur au moins deux niveaux de resolution d'image. 

25 16. Procede de codage selon les revendications 6 et 15, caracterise en ce que 
Festimation de mouvement est effectuee sur au moins deux niveaux dudit 
maillage hi6rarchique. 

17. Ptoc6d6 de codage selon Tune quelconque des revendications 1 k 16, 
caract6ris6 en ce qu'il comprend une €tape de projection ^d' une image sur au 
30 moins une grille de reference, correspondant k une grille d'dchantillonnage definie 
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par la position des noeuds d'un maillage dans une image, de facon a obtenir un 
masque de texture. 

18. Procede de codage selon la revendication 17, caracterise en ce qu'on met 
en oeuvre une approche multi-grille, selon laquelle on associe respectivement une 
grille de reference specifique a au moins deux niveaux de hierarchie d'un maillage 
hierarchique. 

19. Procede de codage selon la revendication 18, caractdrise" en ce qu'on met 
en ceuvre une ponderation des nceuds de maillage entre lesdits niveaux de 
hierarchie, par des poids repr£sentatif de la deformation geometrique. 

20. Procede de codage selon Tune quelconque des revendications 17 a 19, 
caracterise" en ce qu'il comprend une 6tape de detection d'au moins une zone de 
support d'image restant indefinie apres ladite projection d'une image, du fait de 
l'utilisation d'une grille de reference correspondant a une autre image, et une 
etape de remplissage (« padding ») de la ou desdites zones de support d'image 
indefinies. 

21. Proc6de de codage selon la revendication 20, caracterise" en ce que ladite 
etape de remplissage repose sur une approche de type analyse-synth&se, 1' image a 
completer etant analysee, puis synth&isee, pour obtenir par comparaison un 
r6sidu. 

22. Proc6d£ de codage selon la revendication 21, caracterise en ce que ladite 
analyse-synthSse est r£it£r<Se au moins une fois, sur le residu obtenu a Titration 
precedente. 

23. Proc6de de codage selon l'une quelconque des revendications 19 a 22, 
caract6ris6 en ce qu'il comprend une 6tape de remplissage spatial pour au moins 
une image suivie d'une etape de remplissage temporel, par prediction. 

24. Procede de codage selon la revendication 23, caracterise en ce que ladite 
etape de remplissage est assur6e par une interpolation. 

25. Procede de codage selon Tune quelconque des revendications 1 a 24, 
caracterise en ce qu'on applique une antisymetrie aux coefficients d'ondelettes 
correspondant a un bord d'une image, de fagon a simuler un signal a support de 
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par la position des noeuds d'un maillage dans une image, de fagon k obtenir un 
masque de texture. 

18. Proc6d6 de codage selon la revendication 17, caract6ris6 en ce qu'on met 
en ceuvre une approche multi-grille, selon laquelle on associe respectivement une 
5 grille de reference sp£cifique k au moins deux niveaux de hierarchie d'un maillage 
hi6rarchique. 

19- Proced£ de codage selon la revendication 18, caracteris6 en ce qu'on met 
en oeuvre une pond£ration des noeuds de maillage entre lesdits niveaux de 
hierarchie, par des poids repr&entatif de la deformation geom6trique. 

10 20. Precede de codage selon Tune quelconque des revendications 17 k 19, 
caract6rise en ce qu'il comprend une etape de detection d'au moins une zone de 
support d' image restant inddfinie aprfcs ladite projection d'une image, du fait de 
Tutilisation d'une grille de reference correspondant k une autre image, et une 
etape de remplissage (« padding ») de la ou desdites zones de support d' image 

15 ind£finies. 

21. Proced£ de codage selon la revendication 20, caract£ris6 en ce que ladite 
etape de remplissage repose sur une approche de type analyse-synthese, l'image k 
completer etant analysee, puis synth6tis6e, pour obtenir par comparaison un 
r^sidu. 

20 22. Procede de codage selon la revendication 21, caract6ris6 en ce que ladite 
analyse-synthese est r&t£ree au moins une fois, sur le r^sidu obtenu a l'iteration 
pr6c6dente. 

23. Procede de codage selon Tune quelconque des revendications 19 a 22, 
caracterise en be qu'il comprend une etape de remplissage spatial pour au moins 

25 une image suivie d'une etape de remplissage temporal, par prediction. 

24. Procede de codage selon la revendication 23, caractdrise en ce que ladite 
etape de remplissage est assuree par une interpolation. 

25. Procede de codage selon Tune quelconque des revendications 1 a 24, 
caracterise en ce qu'on applique une antisym<Strie aux coefficients d'ondelettes 

30 correspondant k un bord d'une image, de fa§on k simuler un signal k support de 
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longueur infinie. 

26. Proceed de codage selon Tune quelconque des revendications 1 a 25, 
caracterise en ce que les donnees codees sont reparties en au moins deux couches, 
une couche basse comprenant des donnees permettant de reconstruire une image 

5 de qualite grossiere et une couche haute permettant d'affiner la qualite de ladite 
image grossiere. 

27. Procede de codage selon la revendication 26, caracterise en ce que ladite 
couche basse comprend un flux de mouvement de bas niveau, comprenant des 
donn6es de mouvement de la derniere image dudit bloc damages, et un flux de 

10 texture de bas niveau, comprenant des donnees de texture de la premiere et de la 
derniere images dudit bloc damages. 

28. Procede de codage selon Tune quelconque des revendications 26 et 27, 
caracterise en ce que ladite couche haute comprend un flux de mouvement de haut 
niveau et un flux de texture de haut niveau, correspondant au codage desdits 

15 residus. 

29. Procede de codage selon l'une quelconque des revendications 1 a 28, 
caracterise en ce qu'il comprend les £tapes suivantes : 

- selection d'un groupe d'images source ; 

- analyse du mouvement dans ledit groupe d' images source, produisant 
20 lesdites images de mouvement ; 

- analyse de la texture des images source dudit groupe, ladite texture etant 
plaqu^e sur les images de mouvement correspondantes, produisant lesdites 
images de texture ; 

- prediction d'au moins certaines des images de texture dudit groupe 
25 d' images source, produisant lesdites images de texture pr6dite ; 

- determination de rdsidus de texture, correspondant a la difference entre 
une image de texture et une image de texture predite ; 

- prediction d'au moins certaines des images de mouvement dudit groupe 
d'images mouvement, produisant lesdites images de mouvement predite ; 

30 - determination de residus de mouvement, correspondant a la difference 
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longueur infinie. 

26.. Proced6- de codage selon Tune quelconque des revendications 1 a 25, 
caract^rise en ce que les donnees cod6es sont reparties en au moins deux couches, 
une couche basse comprenant des donnees permettant de reconstruire une image 
5 de qualite grossiere et une couche haute permettant d'affiner la qualite de ladite 
image grossiere. 

27. Procede de codage selon la revendication 26, caracterise en ce que ladite 
couche basse comprend un flux de mouvement de bas niveau, comprenant des 
donnees de mouvement de la dernifere image diidit bloc d'images, et un flux de 

10 texture de bas niveau, comprenant des donnees de texture de la premifere et de la 
dernifere images dudit bloc d'images. 

28. Procede de codage selon Tune quelconque des revendications 26 et 27, 
caracterisS en ce que ladite couche haute comprend un flux de mouvement de haut 
niveau et un flux de texture de haut niveau, correspondant au codage desdits 

15 residus. 

29. Procede de codage selon Tune quelconque des revendications 1 h 28, 
caracterise en ce qu'il comprend les etapes suivantes : 

- s61ection d'un groupe d'images source ; 

- analyse du mouvement dans ledit groupe d'images source, produisant 
20 lesdites jimages de mouvement ; 

- analyse.de la texture des images source dudit groupe, ladite texture etant 
plaquee sur les images de mouvement correspondantes, produisant lesdites 
images de texture ; 

- prediction d'au moins certaines des images de texture dudit groupe 
25 d'images source, produisant lesdites images de texture predite ; 

- determination de residus de texture, correspondant k la difference entre 
une image de texture et une image de texture predite ; 

- prediction d'au moins certaines des images de mouvement dudit groupe 
d'images mouvement, produisant lesdites images de mouvement predite ; 

30 - determination de residus de mouvement, correspondant & la difference 
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entre une image de mouvement et une image de mouvement predite ; 
- application d'un codage par ondelettes sur lesdits r6sidus de texture et sur 
lesdits residus de mouvement. 

30. Signal representatif d'une sequence dMmages source et obtenu par un 
5 mettant en ceuvre une decomposition mouvement/texture, produisant, pour au 

moins certaines desdites images source, des informations representatives du 
mouvement, dites images de mouvement, et des informations representatives de la 
texture, dites images de texture, et un codage par ondelettes, 
caracteris6 en ce qu'il comprend des donnees numeriques representatives d'un 
10 codage par ondelettes applique sur des images de difference, dites residus, 
obtenues par comparaison entre une image de source et une image estim6e 
correspondante. 

31. Signal selon la revendication 30, caracteris6 en ce qu'il est constitue d'au 
moins deux couches, une couche basse comprenant des donnees permettant de 

15 reconstruire une image de qualite grossiere et une couche haute permettant 
d'affiner la qualite de ladite image grossiere. 

32. Signal selon la revendication 31, caracterise en ce que ladite couche basse 
comprend successivement un flux de base, comprenant des donnees 
d'initialisation, un premier flux representatif du mouvement et un premier flux 

20 representatif de la texture, et en ce que ladite couche haute comprend 
successivement un second flux representatif du mouvement et un second flux 
representatif de la texture, lesdits seconds flux correspondant au codage desdits 
residus. 

33. Signal selon Tune quelconque des revendications 30 a 32, caracterise en ce 
25 qu'il comprend trois champs pour decrire un objet, representatif s respectivement 

de son mouvement, de sa texture et de sa forme. 

34. Procede de decodage d'une sequence d'images source, cod6e par un 
codage mettant en ceuvre une decomposition mouvement/texture, produisant, pour 
au moins certaines desdites images source, des informations representatives du 

30 mouvement, dites images de mouvement, et des informations representatives de la 
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entre une image de mouvement et une image de mouvement pr6dite ; 
. - application d'un codage par ondelettes sur lesdits residus de texture et sur 
lesdits residus de mouvement. 

30. Signal representatif d'une sequence d'images source et obtenu par un 
precede de codage selon l'une quelconque des revendications 1 a 29, et mettant en 
oeuvre une decomposition mouvement/texture, produisant, pour au moins 
certaines desdites images source, des informations representatives du mouvement, 
dites images de mouvement, et des informations representatives de la texture, 
dites images de texture, et un codage par ondelettes, 

caracterise en ce qu'il comprend des donnees numeriques representatives d'un 
codage par ondelettes applique sur des images de difference, dites residus, 
obtenues par comparaison entre une image de source et une image estimee 
correspondante. 

31. Signal selon la revindication 30, caracterise en ce qu'il est constitue d'au 
moins deux couches, une couche basse comprenant des donnees permettant de 
reconstruire une image de qualite grossiere et une couche haute permettant 
d'affiner la qualite de ladite image grossiere. 

32. Signal selon la revendication 31, caracterise en ce que ladite couche basse 
comprend successivement un flux de base, comprenant des donnees 
d' initialisation, un premier flux representatif du mouvement et un premier flux 
representatif de la texture, et en ce que ladite couche haute comprend 
successivement. un second flux representatif du mouvement et un second flux 
representatif de, la texture, lesdits seconds flux correspondant au codage desdits 
residus. 

33. Signal selon l'une quelconque des revendications 30 a 32, caracterise en ce 
qu'il comprend trois champs pour decrire un objet, representatifs respectivement 
de son mouvement, de sa texture et de sa forme. 

34. Precede de decodage d'une sequence d'images source, codee par un 
codage mettant en oeuvre une decomposition mouvement/texture, produisant, pour 
au moins certaines desdites images source, des informations representatives du 
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texture, dites images de texture, et un codage par ondelettes, 
caracterise en ce que, ledit codage par ondelettes etant appliqu£ sur des images de 
difference, dites residus, obtenues par comparison entre une image de source et 
une image estimee correspondante, il comprend les etapes suivantes : 
5 - decodage du mouvement, en tenant compte d'au moins certains 

desdits residus relatifs au mouvement, pour former des images de 

mouvement ; 

- decodage de la texture, en tenant compte d'au moins certains 
desdits residus relatifs & la texture, pour former des images de 

10 texture ; 

- synthase d'une sequence d' images d€cod6es, correspondant a ladite 
sequence d'images source, par projection desdites images de 
texture sur lesdites images de mouvement. 

35, Procede de decodage selon la revendication 34, caracterise en ce qu'il 
15 comprend une etape de mesure de la qualite de ladite sequence d'images 

decodees, par analyse de la distorsion entre les images de texture originales et les 
images de texture decodees. 

36, Procede de decodage selon Tune quelconque des revendications 34 et 35, 
caracterise en ce que ladite etape de decodage du mouvement comprend les etapes 

20 suivantes : 

— generation d'un maillage hierarchique sur la premiere image ; 

— decodage d' informations de mouvement associees a la derniere 
image, pour determiner un maillage associe a ladite derniere 
image ; 

25 - interpolation des images de mouvement intermediaires* 

37, Procede de decodage selon la revendication 36, caracterise en ce quMl 
comprend ensuite une etape de decodage desdits residus, comprenant une 
transformation par ondelettes inverse de celle appliquee au codage, et une etape 
d'addition desdits residus auxdites images de mouvement in termedi aires 

30 interposes. 
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mouvement, dites images de mouvement, et des informations representatives de la 
texture, dites images de texture, et un codage par ondelettes, 
caractens<5 en ce que, ledit codage par ondelettes etant applique sur des images de 
difference, dites residus, obtenues par comparison entre une image de source et 
une image estimee correspondante, il comprend les etapes suivantes : 

- decodage du mouvement, en tenant compte d'au moins certains 
desdits residus relatifs au mouvement, pour former des images de 
mouvement ; 

- decodage de la texture, en tenant compte d'au moins certains 
desdits residus relatifs a la texture, pour former des images de 
texture ; 

- synthese d'une sequence d'images decodees, correspondant a ladite 
sequence d'images source, par projection desdites images de 
texture sur lesdites images de mouvement. 

15 35, Procede de decodage selon la revendication 34, caracterise en ce qu'il 
comprend une 6tape de mesure de la quality de ladite sequence d'images 
decodees, par analyse de la distorsion entre les images de texture originates et les 
images de texture decodees. 

36. Procdde de decodage selon l'une quelconque des revendications 34 et 35, 
caracterisS en ce que ladite 6tape de decodage du mouvement comprend les etapes 
suivantes : 

- generation d'un maillage hierarchique sur la premiere image ; 

- decodage d'informations de mouvement associees a la derniere 
image, pour determiner un maillage assocte a ladite derniere 

25 image ; 

- interpolation des images de mouvement mterm&iiaires. 

37. Proceed de decodage selon la revendication 36, caractense en ce qu'il 
comprend ensuite une etape de decodage desdits residus, comprenant une 
transformation par ondelettes inverse de celle appliquee au codage, et une dtape 
d'addition desdits residus auxdites images de mouvement interm6diaires 
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38. Proced6 de decodage selon Tune quelconque des revendications 34 a 37, 
caracteris6 en ce que ladite etape de decodage de la texture comprend les etapes 
suivantes : 

- generation d'une texture pour la premiere image ; 

- decodage d'informations de texture associees a la derniere image, 
pour determiner une texture associee a ladite derniere image ; 

- interpolation des images de texture intermediaires. 

39. Proc6de de decodage selon la revendication 38, caracterise en ce que, pour 
au moins certains desdits blocs d'images, dits blocs « inter », l'etape de 
generation d'une texture pour la premiere image prend en compte la derniere 
image du bloc d'images precedents. 

40. Precede de decodage selon l'une quelconque des revendications 38 et 39, 
caracterise" en ce qu'il comprend ensuite une &ape de decodage desdits residus. 
comprenant une transformation par ondelettes inverse de celle appliquee au 
codage, et une etape d' addition desdits residus auxdites images de texture 
intermediaires interpolees. 

41. Procede de decodage selon l'une quelconque des revendications 34 a 40, 
caracterise en ce qu'il comprend une etape de gestion des retoumements gener6s 
par ladite estimation du mouvement. 

42. Procede" de decodage selon Tune quelconque des revendications 34 a 41 , 
caracterise en ce qu'il comprend une etape d'arnSt du traitement desdits residus, 
lorsqu'un niveau de qualite et/ou une quantite de traitements h effectuer est atteint. 

43. Dispositif de codage d'une sequence d'images source, mettant en ceuvre 
une decomposition mouvement/texture, produisant, pour au moins certaines 
desdites images source, des informations representatives du mouvement, dites 
images de mouvement, et des informations representatives de la texture, dites 
images de texture, et un codage par ondelettes, 

caracterise en ce qu'il comprend des moyens de codage par ondelettes applique 
sur des images de difference, dites r£sidus, obtenues par comparaison entre une 
image de source et une image estim6e correspondante. 



70 



interpolees. 

38. Proc<5d6 de decodage selon Tune quelconque des revendications 34 a 37, 
caracterise en ce que ladite etape de decodage de la texture comprend les Stapes 
suivantes : 

- generation d ' une texture pour la premiere image ; 

- decodage d' informations de texture associees a la derniere image, 
pour determiner une texture associee a ladite derniere image ; 

- interpolation des images de texture interm^diaires. 

39. Procede de decodage selon la revendication 38, caracterise en ce que, pour 
au moins certains desdits blocs d'images, dits blocs « inter*, l'&ape de 
generation d'une texture pour la premiere image prend en compte la derniere 
image du bloc d'images precedents. 

40. Precede de decodage selon l'une quelconque des revendications 38 et 39, 
caracterise- en ce qu'il comprend ensuite une etape de decodage desdits rdsidus, 
comprenant une transformation par ondelettes inverse de celle appliquee au 
codage, et une etape d'addition desdits r^sidus auxdites images de texture 
intermediaires interpolees. 

41. Procede de decodage selon l'une quelconque des revendications 34 a 40, 
caracterise en ce qu'il comprend une etape de gestion des retournements genres 
par ladite estimation du mouvement 

42. Precede de decodage selon l'une quelconque des revendications 34 a 41, 
caracterise! en ce qu'il comprend une etape d'arret du traitement desdits residus, 
lorsqu'un niveau de qualite et/ou une quantite de traitements a effectuer est atteint 

43. Dispositif de codage d'une sequence d'images source, mettant en ceuvre 
une decomposition mouvement/texture, produisant, pour au moins certaines 
desdites imagesj source, des informations representatives du mouvement, dites 
images de mouvement, et des informations representatives de la texture, dites 
images de texture, et un codage par ondelettes, 

caracterise en ce qu'il comprend des raoyens de codage par ondelettes applique 
sur des images de difference, dites residus, obtenues par comparaison entre une 
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44. Dispositif de decodage d'une sequence damages source, codee par un 
codage mettant en ceuvre une decomposition mouvement/texture, produisant, pour 
au moins certaines desdites images source, des informations representatives du 
mouvement, dites images de mouvement, et des informations representatives de la 

5 texture, dites images de texture, et un codage par ondelettes, 

caracterise en ce que, ledit codage par ondelettes etant appliquS sur des images de 
difference, dites rSsidus, obtenues par comparaison entre une image de source et 
une image estimee correspondante, il comprend : 

- des moyens de decodage du mouvement, en tenant compte d'au 
10 moins certains desdits residus relatifs au mouvement, pour former 

des images de mouvement ; 

- des moyens de decodage de la texture, en tenant compte d'au 
moins certains desdits residus relatifs a la texture, pour former des 
images de texture ; 

15 - des moyens de synthese d'une sequence d' images decodees, 

correspondant a ladite sequence d'images source, par projection 
desdites images de texture sur lesdites images de mouvement. 

45. Serveur de donnees, stockant et pouvant transmettre vers au moins un 
terminal au moins un signal representatif d'une s6quence d' images source et 

20 obtenu par un mettant en ceuvre une decomposition mouvement/texture, 
produisant, pour au moins certaines desdites images source, des informations 
representatives du mouvement, dites images de mouvement, et des informations 
representatives de la texture, dites images de texture, et un codage par ondelettes, 
caracteris6 en ce qu'il comprend des donnees numeriques representatives d'un 

25 codage par ondelettes applique sur des images de difference, dites residus, 
obtenues par comparaison entre une image de source et une image estim6e 
correspondante. 

46. Support de donnees numerique pouvant etre lu par un terminal, caracterise 
en ce qu'il porte au moins un signal representatif d'une sequence d'images source 

30 et obtenu par un mettant en ceuvre une decomposition mouvement/texture, 
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image de source et une image estimee correspondante. 

44. Dispositif de decodage d'une sequence d'images source, codee par un 
codage mettant en oeuvre une decomposition mouvement/texture, produisant, pour 
au moins certaines desdites images source, des informations representatives du 

5 mouvement, dites images de mouvement, et des informations representatives de la 
texture, dites images de texture, et un codage par ondelettes, 
caracterise en ce que, ledit codage par ondelettes etant applique sur des images de 
difference, dites residus, obtenues par comparaison entre une image de source et 
une image estimee correspondante, il comprend : 
10 - des moyens de decodage du mouvement, en tenant compte d'au 

moins certains desdits residus relatifs au mouvement, pour former 
des images de mouvement ; 

— des moyens de decodage de la texture, en tenant compte d'au 
moins certains desdits residus relatifs a la texture, pour former des 

15 images de texture ; 

- des moyens de synthase d'une sequence d' images d6cod6es, 
correspondant k ladite sequence d'images source, par projection 
desdites images de texture sur lesdites images de mouvement. 

45. Serveur de donnees caracterise en ce qu'il comprend des moyens pour 
20 mettre en oeuvre le procdde de codage selon Tune quelconque des revendications 

1 k 29. 

46. Support de donnees num&ique pouvant Stre lu par un terminal, caracteris6 
en ce qu'il porte au moins un signal selon Tune quelconque des revendications 30 
k 33, obtenu k l'aide d'un procede de codage selon Tune quelconque des 

25 revendications 1 k 29. 

47. Programme d'ordinateur, caract£ris6 en ce qu'il comprend des instructions 
pour mettre en oeuvre un codage d'une sequence d' images source, mettant en 
oeuvre une decomposition mouvement/texture, produisant, pour au moins 
certaines desdites images source, des informations representatives du mouvement, 

30 dites images de mouvement, et des informations representatives de la texture, 
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produisant, pour au moins certaines desdites images source, des informations 
representatives du mouvement, dites images de mouvement, et des informations 
representatives de la texture, dites images de texture, et un codage par ondelettes, 
caracterise en ce qu'il comprend des donnees numeriques representatives d'un 
5 codage par ondelettes applique sur des images de difference, dites residus, 
obtenues par comparaison entre une image de source et une image estimee 
correspondante. 

47. Programme d'ordinateur, caract6rise en ce qu'il comprend des instructions 
pour mettre en oeuvre un codage d'une sequence d' images source, mettant en 

10 ceuvre une decomposition mouvement/texture, produisant, pour au moins 
certaines desdites images source, des informations representatives du mouvement, 
dites images de mouvement, et des informations representatives de la texture, 
dites images de texture, et un codage par ondelettes, 

caracterise en ce qu'il comprend des moyens de codage par ondelettes applique 
15 sur des images de difference, dites residus, obtenues par comparaison entre une 
image de source et une image estimee correspondante, 

48. Programme d'ordinateur, caracterise en ce qu'il comprend des instructions 
pour mettre en o&uvre un decodage d'une sequence d'images source, codee par un 
codage mettant en oeuvre une decomposition mouvement/texture, produisant, pour 

20 au moins certaines desdites images source, des informations representatives du 
mouvement, dites images de mouvement, et des informations representatives de la 
texture, dites images de texture, et un codage par ondelettes, 
caracterise en ce que, ledit codage par ondelettes etant applique sur des images de 
difference, dites residus, obtenues par comparaison entre une image de source et 

25 une image estimee correspondante, il comprend : 

- des moyens de decodage du mouvement, en tenant compte d'au 
moins certains desdits residus relatifs au mouvement, pour former 
des images de mouvement ; 

- des moyens de decodage de la texture, en tenant compte d'au 
30 moins certains desdits residus relatifs h la texture, pour former des 
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dites images de texture, et un codage par ondelettes, 

caract6ris6 en ce qu'il comprend des moyens de codage par ondelettes appliqu£ 
sur des images de difference, dites r6sidus, obtenues par comparaison entre une 
image de source et une image estim^e correspondante. 
5 48. Programme d'ordinateur, caracteris6 en ce qu'il comprend des instructions 
pour mettre en oeuvre un d6codage d'une sequence d'images source, codee par un 
codage mettant en oeuvre une decomposition mouvement/texture, produisant, pour 
au moins certaines desdites images source, des informations representatives du 
mouvement, dites images de mouvement, et des informations representatives de la 
10 texture, dites images de texture, et un codage par ondelettes, 

caract6rise en ce que, ledit codage par ondelettes etant appliqu6 sur des images de 
difference, dites r6sidus, obtenues par comparaison entre une image de source et 
une image estimSe correspondante, il comprend : 

- des moyens de d6codage du mouvement, en tenant compte d'au 
15 moins certains desdits r^sidus relatifs au mouvement, pour former 

des images de mouvement ; 

- des moyens de d6codage de la texture, en tenant compte d'au 
moins certains desdits residus relatifs h la texture, pour former des 
images de texture ; 

20 ~ des moyens de synthase d'une sequence d'images decodees, 

porrespondant a ladite sequence d'images source, par projection 
desdites images de texture sur lesdites images de mouvement 
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images de texture ; 

des moyens de synthase d'une sequence d' images decodees, 
correspondant a ladite sequence d'images source, par projection 
desdites images de texture sur lesdites images de mouvement. 
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